Text Generation WebUI：如何下載大型語言模型(LLM)

1. 如何挑選語言模型

#

大型語言模型格式眾多，Text Generation WebUI的開發者儘量讓程式支援了各種主流模型格式，你想用CPU或GPU跑都行。

• Text Generation WebUI支援多種語言模型：LLaMA、LLaMA 2、Pygmalion、GTP4All、Vicuna、Alpaca、WizardLM、Mistral等等，部份支援中文對話。
• Text Generation WebUI整合的技術：Transformers、llama.cpp、ExLlama、AutoGPTQ、GPTQ-for-LLaMa、DeepSpeed、RWKV、RoPE
• Text Generation WebUI支援的模型格式：ONNX、GPTQ、GGUF。GGML已不支援。

不知道要用哪個模型嗎？請參閱開源大型語言模型列表，選取一款模型，並下載GGUF格式的模型。

我的電腦有16GB RAM、CPU i5-7400、GPU 4GB VRAM，於是我選擇訓練資料7B、llama.cpp格式的模型GGUF。主要用CPU跑，並在必要的時候offload給GPU。

2. 下載模型並放到Text Generation WebUI的資料夾

#

1. 至HugginFace儲存庫，點Breeze-7B-Base-v0.1-Q8_0.gguf檔案旁邊的下載圖示

   

2. 將下載的模型和放到Text Generation WebUI程式資料夾下的models

   

3. 開啟該資料夾的config.yaml，查看你的模型檔名字有沒有寫在裡面，沒有的話請自行新增，例如指定Breeze-7B-Base-v0.1-Q8_0.gguf使用Mistral的範本：

.*(Breeze-7B-Base-v0.1-Q8_0.gguf):
  instruction_template: 'Mistral'

4. 開啟WebUI，進入Model頁籤，點選左上角下載的模型，按Load後再按Save。