Text Generation WebUI因為整合了許多技術,有時需要設定啟動引數(arguments)才能使用特定硬體計算。
預設模式下,Text Generation WebUI會使用GPU計算,您可以設定引數強迫使用CPU計算。語言模型即使全用CPU跑,產生對話的速度還是可以接受的。
於終端機按
Ctrl+C
,終止Text Generation WebUI程式。到
text-generation-webui-main
資料夾,編輯CMD_FLAGS.txt
在最後一行填入引數,比如:
--listen --auto-devices
- 完整引數請參考開發者的 Github,下面我介紹一些常用的。
--auto-devices
引數自動分配計算任務給CPU和GPU--cpu
:強制只用CPU計算--gpu-memory
設定最多分配的VRAM,防止記憶體不足之用,數值視您的顯卡VRAM而定--model
指定要載入的模型--listen
使WebUI的port可從外部網路存取
範例,用GPU跑的引數設定如下:
--listen --auto-devices --gpu-memory 2 --model "模型檔名"
純CPU跑的引數:
--listen --cpu --model "模型檔名"
- 儲存
CMD_FLAGS.txt
,重新啟動WebUI。啟動後程式會自動判別模型種類,選取適合的方法載入。