Text Generation WebUI:下載大型語言模型(LLM)
開源AI人工智慧應用
大型語言模型
LLaMA AI
Large Language Model

作者
Ivon Huang
目錄
Text Generation WebUI使用教學 - 系列文章
系列之 4: 本篇文章
1. 如何挑選模型 #
Text Generation WebUI支援多種語言模型:例如LLaMA、LLaMA 2、Pygmalion、GTP4All、Vicuna、Alpaca、WizardLM,部份支援中文對話。
Text Generation WebUI整合的技術:Transformers、llama.cpp、ExLlama、AutoGPTQ、GPTQ-for-LLaMa、DeepSpeed、RWKV、RoPE
Text Generation WebUI支援的模型格式:ONNX、GPTQ、GGUF。GGML已不支援。
我的電腦有16GB RAM、CPU i5-7400、GPU 4GB VRAM,於是我選擇訓練資料13B、llama.cpp
格式的模型GGUF。主要用CPU跑,並在必要的時候offload給GPU。
因此,英文模型用 WizardLM-13B-V1.2-GGUF
中文模型用 Chinese-Alpaca-2-13B-GGUF,注意這個是基於簡中模型訓練的資料,雖然能以正體中文回答但用語不見得準確。
2. 下載模型並放到Text Generation WebUI的資料夾 #
至HugginFace儲存庫,點
chinese-alpaca-2-13b.Q5_K_M.gguf
旁邊的下載圖示將下載的模型和放到Text Generation WebUI程式資料夾下的
models
開啟該資料夾的
config.yaml
,查看模型檔名字有沒有寫在裡面,沒有的話請自行新增,例如指定chinese-alpaca-2-13b.Q5_K_M
等同Llama-v2
:
.*(chinese-alpaca-2-13b.Q5_K_M):
instruction_template: 'Llama-v2'
- 開啟WebUI,進入Model頁籤,點選左上角下載的模型,按Load後再按Save。
Text Generation WebUI使用教學 - 系列文章
系列之 4: 本篇文章
相關文章
Text Generation WebUI安裝教學(Linux/Windows/macOS)
開源AI人工智慧應用
大型語言模型
Self-hosting自架
LLaMA AI
Large Language Model
oobabooga的Text Generation WebUI ~ 離線聊天AI介紹
開源AI人工智慧應用
大型語言模型
LLaMA AI
Large Language Model
自架離線版ChatGPT?Meta的LLaMA開源大型語言模型與相關軟體介紹
開源AI人工智慧應用
大型語言模型
LLaMA AI
Large Language Model