快轉到主要內容

漫畫自動翻譯軟體 BallonsTranslator 使用教學,附贈修圖功能

分類   開源AI應用 AI影像處理
標籤   Machine Translation ChatGPT Large Language Model Optical Character Recognition
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄

如果你有冷門到沒人翻譯的漫畫,你又剛好有漫畫原文的圖檔,那麼你就需要一款自動翻譯的軟體!

BallonsTranslator (BallonTranslator) 為dmMaze製作的一款開源軟體,基於 Manga Image Translator開發,能夠自動翻譯整本漫畫。

過程:自動偵測圖片裡的文字 → 傳送給線上翻譯服務翻譯 → 再把中文字嵌到圖片裡。等於將修圖嵌字的過程自動化了。

除了一鍵翻譯漫畫的功能之外,BalloonTranslaror還整合了修圖工具。它會把AI翻譯的文字變成一個個編輯框,讓使用者可以比對原文,做進一步修改。

這樣的話,你就可以先跑完批次機器翻譯,再手動潤稿,最終產出完整翻譯作品。

1. 安裝BallonsTranslator
#

BallonsTranslator在處理圖像的時候會嘗試使用GPU計算(Nvidia CUDA & Apple Silicon),比較快完成處理,因此有Nvidia顯示卡的用戶請先裝好 CUDA。如果沒有的話就是用CPU算。

主程式部份,根據 Github指示

Windows請到 Releases頁面下載sources.zip,解壓縮,點二下launch_win.bat批次檔,讓它自己裝完依賴套件,程式就會啟動。(程式執行的時候請勿關閉終端機)

Linux和macOS得自行建立Python環境,我使用 Anaconda

conda create -n ballonstranslator python=3.11.5
conda activate ballonstranslator

git clone https://github.com/dmMaze/BallonsTranslator.git
cd BallonsTranslator
python3 launch.py

2. 設定要使用的翻譯服務
#

BallonsTranslator支援多種翻譯服務:

  • 百度翻譯
  • 彩雲小譯
  • ChatGPT
  • DeepL
  • Google翻譯
  • Papago
  • Sugoi Translator (離線,僅能日譯英)
  • Yandex
  • 自己寫Python程式串接語言模型

BallonsTranslator預設使用Google翻譯,雖然免費但是品質不好,如果你懂日文看了會想吐血。僅僅是勉強能看的程度。

如果你願意付費的話,我個人覺得ChatGPT翻譯比較好,品質跟DeepL有得拼,可以準確連接上下文。

只要訂閱ChatGPT API key,就可以讓BallonsTranslator調用ChatGPT翻譯。

  1. OpenAI網站登入帳號,點選Create New Secret key,取得ChatGPT的API key。ChatGPT每個帳號的免費額度是18美元,用完就要 付費訂閱

  2. 接著開啟BallonsTranslator,點選左下角設定,將「翻譯器」設定為ChatGPT,填入剛剛取得的API key。「源語言」維持日文,再把「目標語言」設定為繁體中文。

(客家一點的用法:你可以不訂閱ChatGPT API key,而是先讓BallonsTranslator跑完Google翻譯後,再把BallonsTranslator辨識的文字手動餵給ChatGPT翻譯,再手動填進去。)

3. BallonsTranslator自動化翻譯流程
#

在此我們先跑過一輪自動化翻譯,看看BallonsTranslator的威力,後面再來討論如何進一步編輯圖片。

  1. 準備好要翻譯的漫畫圖檔,一個資料夾下應該只含有圖片檔。注意目前BallonsTranslator只能偵測日文、中文、英文。

  2. 將要翻譯的漫畫圖檔資料夾,拖入BallonsTranslator視窗,再點選左下角的「Run」

  3. 等待工作完成。如果翻譯的進度條卡住,請看一下終端機有無輸出錯誤訊息,檢查ChatGPT的額度是否足夠。

  4. 翻譯好的圖檔會自動輸出到來源資料夾下的results資料夾,裡面的圖片已經自動嵌好字了。該資料夾就是存放最終成品的地方。

  5. 回到BallonsTranslator界面,你可以點選框框編輯翻譯後的文字。編輯的圖片會自動儲存到results資料夾。

  6. 編輯好之後點選左上角「保存文件」,程式會把json檔案放到輸入的漫畫資料夾下。

  7. 日後點選「打開項目文件」,選取json檔就可以開啟之前的進度,繼續編輯圖片。

  8. 若要手動修圖再嵌字:把你修好的圖片放到inpainted資料夾下,替代BallonsTranslator修的版本。

4. 圖片編輯界面的功能
#

  1. 圖片編輯頁面長這樣,左邊是檢視資料夾的所有圖片檔案,右邊是編輯對話框,還有字體設定。

  2. 右下角的兩個拉桿,可以調整圖層透明度,方便對照原文翻譯。

  3. 點選右下角畫板,開啟修圖工具。「修復」功能可以把圖片中的有字的地方填充掉,方便後續嵌字。

  4. BallonsTranslator尚支援沙拉查詞,讓你在編輯圖片時右鍵搜尋生字。請參閱 安裝說明

  5. 如果你覺得個別的翻譯結果不好,可以直接右鍵文字框 → 翻譯,重新翻譯一次該項目

5. 如果你覺得這個程式有點吃效能
#

到設定裡面,調降「圖像修復」、「OCR」的數值。如果你的VRAM一算圖就爆炸,那就把device改成cpu。

其餘問題請至 作者Github issue詢問。

相關文章

免費AI漫畫圖片翻譯軟體 ~ Manga Image Translator安裝與使用
分類   開源AI應用 AI影像處理
標籤   Machine Translation Anime ChatGPT
Meta的LLaMA開源大型語言模型與相關軟體介紹
分類   開源AI應用 大型語言模型
標籤   LLaMA AI Large Language Model ChatGPT
一鍵提昇動漫影片畫質 ~ Linux版的Anime4K使用教學
分類   開源AI應用 AI影像處理
標籤   Anime4K Image Upscaling Video Upscaling MPV

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur或Postimages。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。為防止垃圾內容,有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。若要上傳圖片請善用圖床網站。