快轉到主要內容

會說話的AI二次元老婆!「Digital Mate」3D桌面寵物使用教學

分類   開源AI人工智慧應用 大型語言模型
標籤   Desktop Mascot ChatGPT MikuMikuDance Live2D VITS
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄

Digital Mate (數字夥伴/數位夥伴) 是一款AI桌寵軟體,原本叫做ChatWaifu。

之前Ivon分享過Live2D桌寵 Kanban Desktop,Digital Mate可說是其加強版,不只是養桌寵而已,它整合了動漫MMD模型 + VITS語音合成 + ChatGPT AI,讓使用者可以用電腦麥克風跟二次元老婆/老公聊天,用滑鼠點選互動。

操作完全不用打指令!DigitalMate都整合好了,設定十分簡單,還可以自訂桌面寵物模型、語音、執行指令、報時。

搭配 Wallpaper Engine Live2DViewerEX操作的話就更好玩了。

1. 安裝Digital Mate
#

Digital Mate是閉源軟體,可於 Steam購買。目前僅支援Windows系統,Linux無法使用。

硬體需求:NVIDIA GeForce GTX 1050以上等級的顯示卡,8GB以上RAM,才能支撐本機3D渲染與AI語音合成。

Ivon覺得這個軟體目前有點粗糙,有時載入模型會卡住,得按工作列的圖示重新啟動。


順帶提一下,2023年作者在 Github放出了此軟體的前身「ChatWaifu」的Python原始碼,還有人製作 手機版的fork

不過,原始碼只是demo性質,且作者使用了Windows API,Linux可能得修改程式碼才能跑。

原本ChatWaifu要上架Steam,但是一直沒上架,頁面還留著,經過調查後才發現改名叫Digital Mate (數字夥伴)了。

2. 選取MMD模型
#

Digital Mate支援MMD (.pmx) 與 Live2D (model3.json) 格式的模型。

模型可在主選單到Steam工作坊下載(可能有版權爭議)

你也可以按右上角的加號匯入自訂pmx檔。MMD模型建議到 ニコニ立体下載;Live2D模型Github讓有很多人分享,必須是model3.json版本的。

本文Ivon使用的海倫娜模型來自: 「3Dモデル+PMXデータ エレナ」 / キノコル さんの作品

模型支援自訂縮放比、渲染方式、對話框位置

匯入模型後,你還得設定語音才會說話。

3. 選取要使用的語音
#

點選編輯角色,設語音模型

Digital Mate預設使用Windows TTS合成語音,很像機器人在講話,不建議使用。

  1. 點選編輯角色 → 語音,語音朗讀引擎,按「下載」,從Steam工作坊下載「Fast VITS」引擎。如果你有自己架VITS伺服器也可以自己串API。

  2. 接著再點選刷新,語音朗讀引擎選取Fast VITS

  3. 在VITS的欄位按下載,從Steam工作坊下載喜歡的VITS語音模型

  4. 設定「語言標誌」為中文

  5. 下面朗讀者再選取要使用的角色。日文角色是可以講中文啦,但有時說話會像鸚鵡。

  6. 接著點選試聽,看看效果如何。語音都是本機運算的,生成速度取決於你的GPU性能。

如果沒有你要的語音,你可以用 FastViT自行訓練。

4. 與桌面寵物互動
#

設定好模型和語音後,就能跟桌面寵物互動了!點選特定身體部位觸發語音,不過這邊都只是制式回答而已,不是AI生成的對話。

你可以設定整點報時,麥克風語音喚醒的指令

MMD的當家絕活「跳舞」功能也不能少!動作檔可以從Steam工作坊下載,或者自行用MMD軟體製作再匯入.vmd。

5. 設定線上AI聊天服務
#

目前AI服務全部都是在雲端運算,再回傳結果,要色色的話得用特定提示詞越獄。

未來如果整合離線的LLaMA AI,那我們就可以聊到飽。

  1. 點選聊天設定頁面,安裝線上AI服務

  2. 免費仔可以用New Bing或者ChatGPT網頁版,它會要求你登入帳號,Digital Mate程式可以讀取網頁文字並唸出來,不過Ivon測試是有點容易斷訊,導致要整個程式重開的樣子。

如果你有付費的話使用ChatGPT API會更好,到 OpenAI取得API Key再填入,方便用Digital Mate準備的提示詞玩角色扮演。

提示:如果你希望角色單純念稿的話,可以把文本餵給ChatGPT,並下「幫我給文字分段,不要做解釋」的提示詞,這樣ChatGPT回傳的文字就會是你給的東西。

相關文章

Kanban Desktop,在PC桌面放一隻Live2D桌寵!支援AI智慧聊天
分類   開源AI人工智慧應用 大型語言模型
標籤   Desktop Mascot Live2D ChatGPT LLaMA AI
Meta的LLaMA開源大型語言模型與相關軟體介紹
分類   開源AI人工智慧應用 大型語言模型
標籤   LLaMA AI Large Language Model ChatGPT
漫畫自動翻譯軟體 BallonsTranslator 使用教學,附贈修圖功能
分類   開源AI人工智慧應用 AI影像處理
標籤   Machine Translation ChatGPT

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur連結。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。