快轉到主要內容

SillyTavern 連接AI生圖服務Stable Diffusion,聊天時回傳圖片

· 民國113年甲辰年
· ·
分類   開源AI應用 大型語言模型
標籤   Stable Diffusion Multimodal
目錄
SillyTavern使用教學 - 點選展開系列文
6: 現在位置

為什麼要AI繪圖呢?想像一下,在對話的時候讓AI把故事裡的場景畫出來~讓畫面更有沈浸感,好比在森林中走路,繪製前方看到的景色,或是遭遇到的敵人等等。

或者讓AI在教你一些知識的時候,隨時生成圖片作輔助教學。

向Lara Lightland詢問黑洞樣子並回傳圖片

搭配多模態語言模型的話,還能跟AI討論圖片內容呢!

SillyTavern支援多款AI生圖服務:

  • 線上:AI Horde、ChatGPT、NovelAI、HuggingFace
  • 本機:ComfyUI、Stable Diffusion WebUI、Draw Things

SillyTavern可以將對話內容作為提示詞,傳給AI服務生圖。AI繪圖每家的品質都不一樣,具體會出現什麼,完全沒有人知道。就以Stable Diffusion為例,生成一般的風景倒還湊合,但如果要生成跟你對話的人物十分相關的圖片,你可能得準備LoRA加入生圖流程了!

1. 將SillyTavern連接到AI生圖服務
#

  1. 以ComfyUI為例,你需要架起服務並啟動API伺服器:ComfyUI安裝教學。不用準備工作流,SillyTavern會使用ComfyUI內建的生圖。

  2. 點選SillyTavern的擴充套件面板,在圖片生成填入ComfyUI伺服器的網址。如果是架在同一台電腦,那麼就填寫http://127.0.0.1:8188,再點選「連線」測試。

  3. 再於下面設定要使用的模型、解析度

2. SillyTavern請求AI生圖
#

這可以在聊天欄使用/sd 提示詞指令達成

例如要求回傳一張你的圖片(指AI)

/sd you

要求回傳一張你的圖片(指跟AI對話的使用者)

/sd me

按照你的提示詞任意生圖,填入負向提示詞與正向提示詞:

/sd negative="ugly, fat" young gilrl

或者,在對話的時候使用Can you generate something...的提示詞,通常就會觸發AI生圖。

也可以點選聊天欄的訊息,將該段訊息作為提示詞生圖。

生圖之後點選聊天欄的箭頭可要求重新生圖。

3. SillyTavern讓AI分析圖片內容
#

  1. 按聊天欄的按鈕呼叫語言模型出來給圖片下註解(caption)。我是不知道這功能有什麼用,因為AI也看不到這條訊息就是了。

  2. 要讓AI查看圖片內容的話,一般的語言模型是「看」不到圖片的,需要切換到多模態模型,例如Ollama支援LLaVA,就在選單切換目前的模型

  3. 在聊天欄點選Generate Caption上傳圖片

  4. 於聊天欄詢問AI對圖片的看法?通常就會給出答案。

參考
#

SillyTavern使用教學 - 點選展開系列文
6: 現在位置

相關文章

SillyTavern設定語音辨識服務,麥克風聲控
分類   開源AI應用 大型語言模型
標籤   Stable Diffusion
SillyTavern介紹,好玩的角色扮演AI聊天軟體
分類   開源AI應用 大型語言模型
標籤   SillyTavern LLM ChatGPT Stable Diffusion
SillyTavern 設定語音合成服務
分類   開源AI應用 大型語言模型
標籤   Text to Speech

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。為防止垃圾內容,有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。若要上傳圖片請善用圖床網站。