快轉到主要內容

會說話的AI二次元老婆!「Digital Mate」3D桌面寵物使用教學

開源AI人工智慧應用 大型語言模型 Desktop Mascot ChatGPT MikuMikuDance Live2D VITS
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄

Digital Mate (數字夥伴/數位夥伴) 是一款AI桌寵軟體,原本叫做ChatWaifu。

之前Ivon分享過Live2D桌寵 Kanban Desktop,Digital Mate可說是其加強版,不只是養桌寵而已,它整合了動漫MMD模型 + VITS語音合成 + ChatGPT AI,讓使用者可以用電腦麥克風跟二次元老婆/老公聊天,用滑鼠點選互動。

操作完全不用打指令!DigitalMate都整合好了,設定十分簡單,還可以自訂桌面寵物模型、語音、執行指令、報時。

搭配 Wallpaper Engine Live2DViewerEX操作的話就更好玩了。

1. 安裝Digital Mate
#

Digital Mate是閉源軟體,可於 Steam購買。目前僅支援Windows系統,Linux無法使用。

硬體需求:NVIDIA GeForce GTX 1050以上等級的顯示卡,8GB以上RAM,才能支撐本機3D渲染與AI語音合成。

Ivon覺得這個軟體目前有點粗糙,有時載入模型會卡住,得按工作列的圖示重新啟動。


順帶提一下,2023年作者在 Github放出了此軟體的前身「ChatWaifu」的Python原始碼,還有人製作 手機版的fork

不過,原始碼只是demo性質,且作者使用了Windows API,Linux可能得修改程式碼才能跑。

原本ChatWaifu要上架Steam,但是一直沒上架,頁面還留著,經過調查後才發現改名叫Digital Mate (數字夥伴)了。

2. 選取MMD模型
#

Digital Mate支援MMD (.pmx) 與 Live2D (model3.json) 格式的模型。

模型可在主選單到Steam工作坊下載(可能有版權爭議)

你也可以按右上角的加號匯入自訂pmx檔。MMD模型建議到 ニコニ立体下載;Live2D模型Github讓有很多人分享,必須是model3.json版本的。

本文Ivon使用的海倫娜模型來自: 「3Dモデル+PMXデータ エレナ」 / キノコル さんの作品

模型支援自訂縮放比、渲染方式、對話框位置

匯入模型後,你還得設定語音才會說話。

3. 選取要使用的語音
#

點選編輯角色,設語音模型

Digital Mate預設使用Windows TTS合成語音,很像機器人在講話,不建議使用。

  1. 點選編輯角色 → 語音,語音朗讀引擎,按「下載」,從Steam工作坊下載「Fast VITS」引擎。如果你有自己架VITS伺服器也可以自己串API。

  2. 接著再點選刷新,語音朗讀引擎選取Fast VITS

  3. 在VITS的欄位按下載,從Steam工作坊下載喜歡的VITS語音模型

  4. 設定「語言標誌」為中文

  5. 下面朗讀者再選取要使用的角色。日文角色是可以講中文啦,但有時說話會像鸚鵡。

  6. 接著點選試聽,看看效果如何。語音都是本機運算的,生成速度取決於你的GPU性能。

如果沒有你要的語音,你可以用 FastViT自行訓練。

4. 與桌面寵物互動
#

設定好模型和語音後,就能跟桌面寵物互動了!點選特定身體部位觸發語音,不過這邊都只是制式回答而已,不是AI生成的對話。

你可以設定整點報時,麥克風語音喚醒的指令

MMD的當家絕活「跳舞」功能也不能少!動作檔可以從Steam工作坊下載,或者自行用MMD軟體製作再匯入.vmd。

5. 設定線上AI聊天服務
#

目前AI服務全部都是在雲端運算,再回傳結果,要色色的話得用特定提示詞越獄。

未來如果整合離線的LLaMA AI,那我們就可以聊到飽。

  1. 點選聊天設定頁面,安裝線上AI服務

  2. 免費仔可以用New Bing或者ChatGPT網頁版,它會要求你登入帳號,Digital Mate程式可以讀取網頁文字並唸出來,不過Ivon測試是有點容易斷訊,導致要整個程式重開的樣子。

如果你有付費的話使用ChatGPT API會更好,到 OpenAI取得API Key再填入,方便用Digital Mate準備的提示詞玩角色扮演。

提示:如果你希望角色單純念稿的話,可以把文本餵給ChatGPT,並下「幫我給文字分段,不要做解釋」的提示詞,這樣ChatGPT回傳的文字就會是你給的東西。

相關文章

Kanban Desktop,在PC桌面放一隻Live2D桌寵!支援AI智慧聊天
開源AI人工智慧應用 大型語言模型 Desktop Mascot Live2D ChatGPT LLaMA AI
Meta的LLaMA開源大型語言模型與相關軟體介紹
開源AI人工智慧應用 大型語言模型 LLaMA AI Large Language Model ChatGPT
漫畫自動翻譯軟體 BallonsTranslator 使用教學,附贈修圖功能
開源AI人工智慧應用 AI影像處理 Machine Translation ChatGPT

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur連結。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。