快轉到主要內容

SillyTavern 設定大型語言模型服務

分類   開源AI人工智慧應用 大型語言模型
標籤   Large Language Model LLaMA AI ChatGPT
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄
SillyTavern使用教學 - 點選展開系列文章
4: 本篇文章

大型語言模型的功能是作為SillyTavern的角色的「大腦」,用於生成文字,並根據使用者的輸入內容給予回應。

SillyTavern支援許多大型語言模型,分為線上模型與本機運算的服務。

線上服務:ChatGPT、Mancer、NovelAI、Scale AI、DreamGen、OpenRouter、Infermatic AI、Together AI、POE AI

本機服務:KoboldAI、Ollama、Text Generation WebUI、TabbyAPI

1. 連接線上模型
#

線上模型通常比較聰明,畢竟他們使用了伺服器等級的硬體,可以跑更為巨大的語言模型。

線上模型多半有使用額度,用完了就要付費。生成的文字內容可能也會受到平台規定,無法超過道德底限。

以ChatGPT為例子,付費取得 OpenAI API Key

到SillyTavern的「API」處,選取Text Completion,Source選OpenAI,再輸入API key。點選Connect連線。

這樣你就可以使用ChatGPT聊天了。

2. 連接本機模型
#

本機模型的好處就是可以自由輸入喜歡的內容,沒有任何限制。

但是你的硬體必須要夠強才可以撐得住大型語言模型的服務,否則的話你只能跑小一點的大型語言模型(7B、13B),他們會比較笨。

你要先裝語言模型軟體,再選個大型語言模型來用。參見 在個人電腦跑AI大型語言模型的開源軟體列表

以「Ollama」+ Breeze 7B Instruct模型為例子

確認Ollama服務有跑起來之後

點選SillyTavern的「API」頁面,選Text Completion,API Type選Ollama。點選Connnect連接到Ollma的API網址http://localhost:11434

這樣它就會列出本機可用的模型了。

SillyTavern使用教學 - 點選展開系列文章
4: 本篇文章

相關文章

離線版ChatGPT安裝方法!在個人電腦跑AI大型語言模型的開源軟體列表
分類   開源AI人工智慧應用 大型語言模型 Self-hosting自架
標籤   Large Language Model ChatGPT LLaMA AI Free Software
Meta的LLaMA開源大型語言模型與相關軟體介紹
分類   開源AI人工智慧應用 大型語言模型
標籤   LLaMA AI Large Language Model ChatGPT
ShellGPT,Linux命令行整合ChatGPT,讓AI輔助你寫程式
分類   開源AI人工智慧應用 大型語言模型
標籤   LLaMA AI Linux ChatGPT

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur連結。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。