快轉到主要內容

Text Generation WebUI:如何下載大型語言模型(LLM)

分類   開源AI應用 大型語言模型
標籤   LLaMA AI Large Language Model
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄
Text Generation WebUI使用教學 - 點選展開系列文章
4: 本篇文章

1. 如何挑選語言模型
#

大型語言模型格式眾多,Text Generation WebUI的開發者儘量讓程式支援了各種主流模型格式,你想用CPU或GPU跑都行。

  • Text Generation WebUI支援多種語言模型:LLaMA、LLaMA 2、Pygmalion、GTP4All、Vicuna、Alpaca、WizardLM、Mistral等等,部份支援中文對話。
  • Text Generation WebUI整合的技術:Transformers、llama.cpp、ExLlama、AutoGPTQ、GPTQ-for-LLaMa、DeepSpeed、RWKV、RoPE
  • Text Generation WebUI支援的模型格式:ONNX、GPTQ、GGUF。GGML已不支援。

不知道要用哪個模型嗎?請參閱 開源大型語言模型列表,選取一款模型,並下載GGUF格式的模型。


我的電腦有16GB RAM、CPU i5-7400、GPU 4GB VRAM,於是我選擇訓練資料7B、llama.cpp格式的模型GGUF。主要用CPU跑,並在必要的時候offload給GPU。

2. 下載模型並放到Text Generation WebUI的資料夾
#

  1. 至HugginFace儲存庫,點Breeze-7B-Base-v0.1-Q8_0.gguf檔案旁邊的下載圖示

  2. 將下載的模型和放到Text Generation WebUI程式資料夾下的models

  3. 開啟該資料夾的config.yaml,查看你的模型檔名字有沒有寫在裡面,沒有的話請自行新增,例如指定Breeze-7B-Base-v0.1-Q8_0.gguf使用Mistral的範本:

.*(Breeze-7B-Base-v0.1-Q8_0.gguf):
  instruction_template: 'Mistral'
  1. 開啟WebUI,進入Model頁籤,點選左上角下載的模型,按Load後再按Save。

Text Generation WebUI使用教學 - 點選展開系列文章
4: 本篇文章

相關文章

Text Generation WebUI安裝教學(Linux / Windows / macOS)
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Large Language Model
oobabooga的Text Generation WebUI ~ 離線聊天AI介紹
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Large Language Model
Text Generation WebUI擴充功能使用方式
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Stable Diffusion

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur連結。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。