Text Generation WebUI：啟動引數

Text Generation WebUI因為整合了許多技術，有時需要設定啟動引數(arguments)才能使用特定硬體計算。

預設模式下，Text Generation WebUI會使用GPU計算，您可以設定引數強迫使用CPU計算。語言模型即使全用CPU跑，產生對話的速度還是可以接受的。

1. 於終端機按Ctrl＋C，終止Text Generation WebUI程式。

2. 到text-generation-webui-main資料夾，編輯CMD_FLAGS.txt

   

3. 在最後一行填入引數，比如：

--listen --auto-devices

4. 完整引數請參考開發者的 Github，下面我介紹一些常用的。

• --auto-devices引數自動分配計算任務給CPU和GPU
• --cpu：強制只用CPU計算
• --gpu-memory設定最多分配的VRAM，防止記憶體不足之用，數值視您的顯卡VRAM而定
• --model指定要載入的模型
• --listen使WebUI的port可從外部網路存取

5. 範例，我將引數設定如下：

--listen --auto-devices --gpu-memory 2 --model "模型檔名"

6. 儲存CMD_FLAGS.txt，重新啟動WebUI。啟動後會自動判別模型種類，選取適合的方法載入。