快轉到主要內容

Text Generation WebUI:啟動引數

分類   開源AI應用 大型語言模型
🗓️ 民國112年 癸卯年
✍ 切換正體/簡體字
Text Generation WebUI使用教學 - 點選展開系列文章
5: 本篇文章

Text Generation WebUI因為整合了許多技術,有時需要設定啟動引數(arguments)才能使用特定硬體計算。

預設模式下,Text Generation WebUI會使用GPU計算,您可以設定引數強迫使用CPU計算。語言模型即使全用CPU跑,產生對話的速度還是可以接受的。

  1. 於終端機按Ctrl+C,終止Text Generation WebUI程式。

  2. text-generation-webui-main資料夾,編輯CMD_FLAGS.txt

  3. 在最後一行填入引數,比如:

--listen --auto-devices
  1. 完整引數請參考開發者的 Github,下面我介紹一些常用的。
  • --auto-devices引數自動分配計算任務給CPU和GPU
  • --cpu:強制只用CPU計算
  • --gpu-memory設定最多分配的VRAM,防止記憶體不足之用,數值視您的顯卡VRAM而定
  • --model指定要載入的模型
  • --listen使WebUI的port可從外部網路存取

範例,用GPU跑的引數設定如下:

--listen --auto-devices --gpu-memory 2 --model "模型檔名"

純CPU跑的引數:

--listen --cpu --model "模型檔名"
  1. 儲存CMD_FLAGS.txt,重新啟動WebUI。啟動後程式會自動判別模型種類,選取適合的方法載入。

Text Generation WebUI使用教學 - 點選展開系列文章
5: 本篇文章

相關文章

Text Generation WebUI安裝教學(Linux / Windows / macOS)
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Large Language Model
Text Generation WebUI硬體需求
分類   開源AI應用 大型語言模型
oobabooga的Text Generation WebUI ~ 離線聊天AI介紹
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Large Language Model

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur連結。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。