Digital Mate (數字夥伴/數位夥伴) 是一款AI桌寵軟體,原本叫做ChatWaifu。
之前Ivon分享過Live2D桌寵 Kanban Desktop,Digital Mate可說是其加強版,不只是養桌寵而已,它整合了動漫MMD模型 + VITS語音合成 + ChatGPT AI,讓使用者可以用電腦麥克風跟二次元老婆/老公聊天,用滑鼠點選互動。
操作完全不用打指令!DigitalMate都整合好了,設定十分簡單,還可以自訂桌面寵物模型、語音、執行指令、報時。
搭配 Wallpaper Engine、 Live2DViewerEX操作的話就更好玩了。
1. 安裝Digital Mate#
Digital Mate是閉源軟體,可於 Steam購買。目前僅支援Windows系統,Linux無法使用。
硬體需求:NVIDIA GeForce GTX 1050以上等級的顯示卡,8GB以上RAM,才能支撐本機3D渲染與AI語音合成。
Ivon覺得這個軟體目前有點粗糙,有時載入模型會卡住,得按工作列的圖示重新啟動。
順帶提一下,2023年作者在 Github放出了此軟體的前身「ChatWaifu」的Python原始碼,還有人製作 手機版的fork。
不過,原始碼只是demo性質,且作者使用了Windows API,Linux可能得修改程式碼才能跑。
原本ChatWaifu要上架Steam,但是一直沒上架,頁面還留著,經過調查後才發現改名叫Digital Mate (數字夥伴)了。
2. 選取MMD模型#
Digital Mate支援MMD (.pmx) 與 Live2D (model3.json) 格式的模型。
模型可在主選單到Steam工作坊下載(可能有版權爭議)
你也可以按右上角的加號匯入自訂pmx檔。MMD模型建議到 ニコニ立体下載;Live2D模型Github讓有很多人分享,必須是model3.json版本的。
本文Ivon使用的海倫娜模型來自: 「3Dモデル+PMXデータ エレナ」 / キノコル さんの作品
模型支援自訂縮放比、渲染方式、對話框位置
匯入模型後,你還得設定語音才會說話。
3. 選取要使用的語音#
點選編輯角色,設語音模型
Digital Mate預設使用Windows TTS合成語音,很像機器人在講話,不建議使用。
點選編輯角色 → 語音,語音朗讀引擎,按「下載」,從Steam工作坊下載「Fast VITS」引擎。如果你有自己架VITS伺服器也可以自己串API。
接著再點選刷新,語音朗讀引擎選取Fast VITS
在VITS的欄位按下載,從Steam工作坊下載喜歡的VITS語音模型
設定「語言標誌」為中文
下面朗讀者再選取要使用的角色。日文角色是可以講中文啦,但有時說話會像鸚鵡。
接著點選試聽,看看效果如何。語音都是本機運算的,生成速度取決於你的GPU性能。
如果沒有你要的語音,你可以用 FastViT自行訓練。
4. 與桌面寵物互動#
設定好模型和語音後,就能跟桌面寵物互動了!點選特定身體部位觸發語音,不過這邊都只是制式回答而已,不是AI生成的對話。
你可以設定整點報時,麥克風語音喚醒的指令
MMD的當家絕活「跳舞」功能也不能少!動作檔可以從Steam工作坊下載,或者自行用MMD軟體製作再匯入.vmd。
5. 設定線上AI聊天服務#
目前AI服務全部都是在雲端運算,再回傳結果,要色色的話得用特定提示詞越獄。
未來如果整合離線的LLaMA AI,那我們就可以聊到飽。
點選聊天設定頁面,安裝線上AI服務
免費仔可以用New Bing或者ChatGPT網頁版,它會要求你登入帳號,Digital Mate程式可以讀取網頁文字並唸出來,不過Ivon測試是有點容易斷訊,導致要整個程式重開的樣子。
如果你有付費的話使用ChatGPT API會更好,到 OpenAI取得API Key再填入,方便用Digital Mate準備的提示詞玩角色扮演。
提示:如果你希望角色單純念稿的話,可以把文本餵給ChatGPT,並下「幫我給文字分段,不要做解釋」的提示詞,這樣ChatGPT回傳的文字就會是你給的東西。