Text Generation WebUI：下載大型語言模型(LLM)

1. 如何挑選模型 #

• Text Generation WebUI支援多種語言模型：例如LLaMA、LLaMA 2、Pygmalion、GTP4All、Vicuna、Alpaca、WizardLM，部份支援中文對話。

• Text Generation WebUI整合的技術：Transformers、llama.cpp、ExLlama、AutoGPTQ、GPTQ-for-LLaMa、DeepSpeed、RWKV、RoPE

• Text Generation WebUI支援的模型格式：ONNX、GPTQ、GGUF。GGML已不支援。

我的電腦有16GB RAM、CPU i5-7400、GPU 4GB VRAM，於是我選擇訓練資料13B、llama.cpp格式的模型GGUF。主要用CPU跑，並在必要的時候offload給GPU。

因此，英文模型用 WizardLM-13B-V1.2-GGUF

中文模型用 Chinese-Alpaca-2-13B-GGUF，注意這個是基於簡中模型訓練的資料，雖然能以正體中文回答但用語不見得準確。

2. 下載模型並放到Text Generation WebUI的資料夾 #

1. 至HugginFace儲存庫，點chinese-alpaca-2-13b.Q5_K_M.gguf旁邊的下載圖示

   

2. 將下載的模型和放到Text Generation WebUI程式資料夾下的models

   

3. 開啟該資料夾的config.yaml，查看模型檔名字有沒有寫在裡面，沒有的話請自行新增，例如指定chinese-alpaca-2-13b.Q5_K_M等同Llama-v2：

.*(chinese-alpaca-2-13b.Q5_K_M):
  instruction_template: 'Llama-v2'

4. 開啟WebUI，進入Model頁籤，點選左上角下載的模型，按Load後再按Save。