快轉到主要內容

SillyTavern 設定語言模型服務,與AI聊天前最重要的設定步驟

分類   開源AI應用 大型語言模型
標籤   Large Language Model LLaMA AI ChatGPT
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄
SillyTavern使用教學 - 點選展開系列文章
4: 本篇文章

你必須先設定語言模型服務才能開始聊天!

語言模型的功能是作為SillyTavern角色的「大腦」,用於生成文字,並根據使用者的輸入內容給予回應。

語言模型可分為線上模型與本機運算的服務:

  • 線上服務:AI Horde、ChatGPT、Mancer、NovelAI、Scale AI、DreamGen、OpenRouter、Infermatic AI、Together AI、POE AI
  • 本機服務:KoboldAI、Ollama、Text Generation WebUI、TabbyAPI

1. 連接語言模型服務
#

1.1. 連接線上服務
#

線上模型通常比較聰明,畢竟他們使用了伺服器等級的硬體,可以跑更為巨大的語言模型。

但是,線上模型多半有使用額度,用完了就要付費。且生成的文字內容可能也會受到平台規定,無法生成NSFW內容。

SillyTavern預設使用免費的KoboldAI Horde服務,有多種模型可選,但是生成文字需要排隊。

AI Horde註冊帳號,再點選SillyTavern頂部的插頭圖示,輸入API Key,即可選用模型。建議使用基於LLaMA訓練的,回答品質較佳。


再以ChatGPT為例子,付費取得 OpenAI API Key

到SillyTavern的「API」處,選取Text Completion,Source選OpenAI,再輸入API key。點選Connect連線。這樣你就可以使用ChatGPT聊天了。

1.2. 連接本機服務
#

本機模型的好處就是可以自由輸入喜歡的內容,沒有任何限制。但是你的硬體必須要夠強才可以撐得住大型語言模型的服務,否則的話你只能跑小一點的語言模型(3B、7B、13B),他們會比較笨。

而且有些開源模型依然會有道德限制,你需要找uncensored的變種才能生成NSFW的文字。

要怎麼跑語言模型呢?你要先裝專用的軟體,再選個語言模型來用,參見: 在個人電腦跑AI大型語言模型的開源軟體列表

以「Ollama」為例子,確認Ollama服務有跑起來之後,點選SillyTavern的「API」頁面,選Text Completion,API Type選Ollama。點選Connnect連接到Ollma的API網址http://localhost:11434

這樣它就會列出本機可用的模型了。

2. 調整提示詞設定檔
#

大型語言模型回覆的品質取決於選用的模型,還有你使用的提示詞設定檔。

通常選取Coherence Creativity就夠了。

此外,在進階格式化的設定選單,可為不同的語言模型切換上下文範本,獲得更精準的結果。

3. 關於聊天語言問題
#

SillyTavern支援許多大型語言模型,以英文的居多。

如果要讓AI以中文回覆,有下列選項:

  1. 在提示詞裡面加入指示

  2. 選用專為中文微調的語言模型,例如TAIDE-LX。

  3. 利用SillyTavern的翻譯功能,將畫面上的對話翻譯成中文(但實際上背後還是用英文在交談)。參見 SillyTavern自動翻譯對話

SillyTavern使用教學 - 點選展開系列文章
4: 本篇文章

相關文章

Meta的LLaMA開源大型語言模型與相關軟體介紹
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Large Language Model ChatGPT
ShellGPT,Linux命令行整合ChatGPT,讓AI輔助你寫程式
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Linux ChatGPT
Text Generation WebUI:如何下載大型語言模型(LLM)
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Large Language Model

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur或Postimages。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。為防止垃圾內容,有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。若要上傳圖片請善用圖床網站。