快轉到主要內容

Dalai本機安裝教學,與LLaMA大型語言模型離線聊天

分類   開源AI應用 大型語言模型
標籤   LLaMA AI
🗓️ 民國112年 癸卯年
✍ 切換正體/簡體字
目錄

這篇文章介紹如何在個人電腦安裝「Dalai」,與Meta的大型語言模型「LLaMA」對話。與LLaMA對話不需要網路,也無需註冊帳號。

LLaMA原文是羊駝(llama)的雙關語,也許開發者是想玩諧音梗,代表睿智的達賴喇嘛,所以才把這個程式取名為「Dalia LLaMA」。

0. LLaMA模型是什麼?
#

參見 LLaMA開源大型語言模型與相關工具介紹

1. 安裝Dalai前置依賴套件
#

Dalai支援Linux/Windows/MacOS系統,也可以參照 Github說明用Docker跑。

建議電腦規格:RAM要8GB以上,CPU為Intel Core i5以上,硬碟需要20GB以上空間。

因Dalai採用的是llama.cpp,只靠CPU運算,不需要用到顯示卡。

Linux
#

開啟終端機,安裝NodeJS、Python3、Pyhton虛擬環境、GCC。Debian系使用以下指令

sudo apt-get install build-essential python3-venv -y

Windows
#

安裝 Visual Studio,開啟後安裝Python、NodeJS、Visual C++的開發工具。

MacOS
#

  1. 開啟終端機,安裝Hombrew
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  1. 安裝NodeJS
brew install cmake
brew install pkg-config
npm install -g npm@latest

2. 下載Dalai和LLaMA模型
#

  1. 在桌面開啟終端機,輸入指令安裝Dalai,並下載LLaMA模型。7B是最小的版本,更大的有13B、30B、65B,需要更多RAM才能負荷。
npx dalai llama install 7B

你也可以下載美國史丹佛大學微調過的Alpaca模型,他們讓此模型能像GPT-3一樣聽從指令。

npx dalai alpaca install 7B
  1. 執行Dalai服務,保持終端機開著。
npx dalai serve
  1. 在瀏覽器開啟http://127.0.0.1:3000,即可看到網頁界面

Dalai預設會將下載的模型放到~/dalai/llama/models目錄。

3. Dalai LLaMA對話使用方式
#

右上角可看到目前使用的是哪個模型。

Dalai有內建一些範本,例如要AI扮演聊天機器人、翻譯的指示詞寫法。當然不給任何指示,直接開始對話也可以。

LLaMA目前只支援英文對話,不過已有用LoRA微調的中文、日文模型出現。

預設模式
#

Default的格式即為在>符號後面填入問題。下面我問的是:「你作為英語老師,第一堂課你會做什麼?」

然後按下右邊的Go,它就會開始作答。運算的時候CPU和RAM佔用會急遽上升,硬體不好的用戶可能導致回答會比較慢。

AI 對話模式
#

聊天模式,你給它一個提示詞,就跟你繼續聊下去。

聊天機器人
#

PROMPT的字串取代為人名,給你打招呼。

句子改寫
#

PROMPT的字串取代為句子,幫你改寫。

翻譯文本
#

翻譯文本成為中文。格式為:把ENGLISH: >後面寫上要翻譯的英文句子。LANGUAGE字串取代成要翻譯的語言。

判別推文的情緒
#

給AI一些例子,讓其判讀句子是正向還是負向的。

相關文章

AI繪圖:Windows安裝Stable Diffusion WebUI教學
分類   開源AI應用 Stable Diffusion教學
標籤   Stable Diffusion AI Windows
以CPU only模式跑Stable Diffusion WebUI
分類   開源AI應用 Stable Diffusion教學
標籤   Stable Diffusion WebUI
DeepCreamPy & Hent-AI ~ AI去掉圖片馬賽克和海苔條教學
分類   開源AI應用 AI影像處理
標籤   Demosaic Image Inpainting Doujinshi

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur連結。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。