快轉到主要內容

Text Generation WebUI:下載大型語言模型(LLM)

開源AI人工智慧應用 大型語言模型 LLaMA AI Large Language Model
✍ 切換正體/簡體字
Ivon Huang
作者
Ivon Huang
目錄
Text Generation WebUI使用教學 - 系列文章
系列之 4: 本篇文章

1. 如何挑選模型 #

  • Text Generation WebUI支援多種語言模型:例如LLaMA、LLaMA 2、Pygmalion、GTP4All、Vicuna、Alpaca、WizardLM,部份支援中文對話。

  • Text Generation WebUI整合的技術:Transformers、llama.cpp、ExLlama、AutoGPTQ、GPTQ-for-LLaMa、DeepSpeed、RWKV、RoPE

  • Text Generation WebUI支援的模型格式:ONNX、GPTQ、GGUF。GGML已不支援。

我的電腦有16GB RAM、CPU i5-7400、GPU 4GB VRAM,於是我選擇訓練資料13B、llama.cpp格式的模型GGUF。主要用CPU跑,並在必要的時候offload給GPU。

因此,英文模型用 WizardLM-13B-V1.2-GGUF

中文模型用 Chinese-Alpaca-2-13B-GGUF,注意這個是基於簡中模型訓練的資料,雖然能以正體中文回答但用語不見得準確。

2. 下載模型並放到Text Generation WebUI的資料夾 #

  1. 至HugginFace儲存庫,點chinese-alpaca-2-13b.Q5_K_M.gguf旁邊的下載圖示

  2. 將下載的模型和放到Text Generation WebUI程式資料夾下的models

  3. 開啟該資料夾的config.yaml,查看模型檔名字有沒有寫在裡面,沒有的話請自行新增,例如指定chinese-alpaca-2-13b.Q5_K_M等同Llama-v2

.*(chinese-alpaca-2-13b.Q5_K_M):
  instruction_template: 'Llama-v2'
  1. 開啟WebUI,進入Model頁籤,點選左上角下載的模型,按Load後再按Save。

Text Generation WebUI使用教學 - 系列文章
系列之 4: 本篇文章

相關文章

Text Generation WebUI安裝教學(Linux/Windows/macOS)
開源AI人工智慧應用 大型語言模型 Self-hosting自架 LLaMA AI Large Language Model
oobabooga的Text Generation WebUI ~ 離線聊天AI介紹
開源AI人工智慧應用 大型語言模型 LLaMA AI Large Language Model
自架離線版ChatGPT?Meta的LLaMA開源大型語言模型與相關軟體介紹
開源AI人工智慧應用 大型語言模型 LLaMA AI Large Language Model

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要登入Github帳號才能留言。支援markdown語法,方便您張貼程式碼,若要上傳圖片請貼Imgur連結。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。無論有無登入皆可留言。此處留言只有本站參與者看得到。若您選擇以訪客身份匿名留言,就不會收到後續回覆通知。