你必須先設定語言模型服務才能開始聊天!
語言模型的功能是作為SillyTavern角色的「大腦」,用於生成文字,並根據使用者的輸入內容給予回應。
語言模型可分為線上模型與本機運算的服務:
- 線上服務:AI Horde、ChatGPT、Mancer、NovelAI、Scale AI、DreamGen、OpenRouter、Infermatic AI、Together AI、POE AI
- 本機服務:KoboldAI、Ollama、Text Generation WebUI、TabbyAPI
1. 連接語言模型服務#
1.1. 連接線上服務#
線上模型通常比較聰明,畢竟他們使用了伺服器等級的硬體,可以跑更為巨大的語言模型。
但是,線上模型多半有使用額度,用完了就要付費。且生成的文字內容可能也會受到平台規定,無法生成NSFW內容。
SillyTavern預設使用免費的KoboldAI Horde服務,有多種模型可選,但是生成文字需要排隊。
到 AI Horde註冊帳號,再點選SillyTavern頂部的插頭圖示,輸入API Key,即可選用模型。建議使用基於LLaMA訓練的,回答品質較佳。
再以ChatGPT為例子,付費取得 OpenAI API Key
到SillyTavern的「API」處,選取Text Completion,Source選OpenAI,再輸入API key。點選Connect連線。這樣你就可以使用ChatGPT聊天了。
1.2. 連接本機服務#
本機模型的好處就是可以自由輸入喜歡的內容,沒有任何限制。但是你的硬體必須要夠強才可以撐得住大型語言模型的服務,否則的話你只能跑小一點的語言模型(3B、7B、13B),他們會比較笨。
而且有些開源模型依然會有道德限制,你需要找uncensored
的變種才能生成NSFW的文字。
要怎麼跑語言模型呢?你要先裝專用的軟體,再選個語言模型來用,參見: 在個人電腦跑AI大型語言模型的開源軟體列表
以「Ollama」為例子,確認Ollama服務有跑起來之後,點選SillyTavern的「API」頁面,選Text Completion,API Type選Ollama。點選Connnect連接到Ollma的API網址http://localhost:11434
這樣它就會列出本機可用的模型了。
2. 調整提示詞設定檔#
大型語言模型回覆的品質取決於選用的模型,還有你使用的提示詞設定檔。
通常選取Coherence Creativity就夠了。
此外,在進階格式化的設定選單,可為不同的語言模型切換上下文範本,獲得更精準的結果。
3. 關於聊天語言問題#
SillyTavern支援許多大型語言模型,以英文的居多。
如果要讓AI以中文回覆,有下列選項:
在提示詞裡面加入指示
選用專為中文微調的語言模型,例如TAIDE-LX。
利用SillyTavern的翻譯功能,將畫面上的對話翻譯成中文(但實際上背後還是用英文在交談)。參見 SillyTavern自動翻譯對話