大型語言模型的功能是作為SillyTavern的角色的「大腦」,用於生成文字,並根據使用者的輸入內容給予回應。
SillyTavern支援許多大型語言模型,分為線上模型與本機運算的服務。
線上服務:ChatGPT、Mancer、NovelAI、Scale AI、DreamGen、OpenRouter、Infermatic AI、Together AI、POE AI
本機服務:KoboldAI、Ollama、Text Generation WebUI、TabbyAPI
1. 連接線上模型#
線上模型通常比較聰明,畢竟他們使用了伺服器等級的硬體,可以跑更為巨大的語言模型。
線上模型多半有使用額度,用完了就要付費。生成的文字內容可能也會受到平台規定,無法超過道德底限。
以ChatGPT為例子,付費取得 OpenAI API Key
到SillyTavern的「API」處,選取Text Completion,Source選OpenAI,再輸入API key。點選Connect連線。
這樣你就可以使用ChatGPT聊天了。
2. 連接本機模型#
本機模型的好處就是可以自由輸入喜歡的內容,沒有任何限制。
但是你的硬體必須要夠強才可以撐得住大型語言模型的服務,否則的話你只能跑小一點的大型語言模型(7B、13B),他們會比較笨。
你要先裝語言模型軟體,再選個大型語言模型來用。參見 在個人電腦跑AI大型語言模型的開源軟體列表
以「Ollama」+ Breeze 7B Instruct模型為例子
確認Ollama服務有跑起來之後
點選SillyTavern的「API」頁面,選Text Completion,API Type選Ollama。點選Connnect連接到Ollma的API網址http://localhost:11434
這樣它就會列出本機可用的模型了。