快轉到主要內容

SillyTavern 設定大型語言模型服務

開源AI人工智慧應用 大型語言模型 Large Language Model LLaMA AI ChatGPT
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄
SillyTavern使用教學 - 點選展開系列文章
4: 本篇文章

大型語言模型的功能是作為SillyTavern的角色的「大腦」,用於生成文字,並根據使用者的輸入內容給予回應。

SillyTavern支援許多大型語言模型,分為線上模型與本機運算的服務。

線上服務:ChatGPT、Mancer、NovelAI、Scale AI、DreamGen、OpenRouter、Infermatic AI、Together AI、POE AI

本機服務:KoboldAI、Ollama、Text Generation WebUI、TabbyAPI

1. 連接線上模型
#

線上模型通常比較聰明,畢竟他們使用了伺服器等級的硬體,可以跑更為巨大的語言模型。

線上模型多半有使用額度,用完了就要付費。生成的文字內容可能也會受到平台規定,無法超過道德底限。

以ChatGPT為例子,付費取得 OpenAI API Key

到SillyTavern的「API」處,選取Text Completion,Source選OpenAI,再輸入API key。點選Connect連線。

這樣你就可以使用ChatGPT聊天了。

2. 連接本機模型
#

本機模型的好處就是可以自由輸入喜歡的內容,沒有任何限制。

但是你的硬體必須要夠強才可以撐得住大型語言模型的服務,否則的話你只能跑小一點的大型語言模型(7B、13B),他們會比較笨。

你要先裝語言模型軟體,再選個大型語言模型來用。參見 在個人電腦跑AI大型語言模型的開源軟體列表

以「Ollama」+ Breeze 7B Instruct模型為例子

確認Ollama服務有跑起來之後

點選SillyTavern的「API」頁面,選Text Completion,API Type選Ollama。點選Connnect連接到Ollma的API網址http://localhost:11434

這樣它就會列出本機可用的模型了。

SillyTavern使用教學 - 點選展開系列文章
4: 本篇文章

相關文章

離線版ChatGPT安裝方法!在個人電腦跑AI大型語言模型的開源軟體列表
開源AI人工智慧應用 大型語言模型 Self-hosting自架 Large Language Model ChatGPT LLaMA AI Free Software
Meta的LLaMA開源大型語言模型與相關軟體介紹
開源AI人工智慧應用 大型語言模型 LLaMA AI Large Language Model ChatGPT
ShellGPT,Linux命令行整合ChatGPT,讓AI輔助你寫程式
開源AI人工智慧應用 大型語言模型 LLaMA AI Linux ChatGPT

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur連結。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。