快轉到主要內容

開源AI影片去背軟體 Transparent Background,移除一切干擾的背景

分類   開源AI人工智慧應用 AI影像處理
標籤   Background Remover Object Detection
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄

Transparent Background這款軟體可以利用AI技術,自動給圖片和影片去背,特別的是還支援OBS攝像機鏡頭即時去背。

實測影片去背效果:

原始影片Thom Yorke跳蓮花舞,4分22秒處開始

去背影片,效果還行。

另一部去背測試,藤原書記舞。動畫的效果似乎比真人影片要差,或者真的背景太複雜了?

Transparent Background不只可以去背,也能生成綠幕,之後就可以放到Kdenlive等剪輯軟體,做進一步加工。如圖,Kdenlive的Chroma Color Selection特效能夠一鍵去綠幕。

我自己的測試覺得,就圖片去背而言,Transparent Background與 Rembg不分上下。但Transparent Background的影片去背效果比 Johnathan Nader的BackgroundRemover要好,產生的檔案大小也比較合理。

同樣是去背,二者使用的模型不一樣,Transparent Background背後使用的模型為 InSPyReNet,非U2-Net。

1. 安裝Transparent Background
#

本軟體為韓國資訊通信企劃評價院(IITP)贊助的計畫,原始碼位於 Github儲存庫,由Taehun Kim管理。

Transparent Background以Python寫成,支援Linux/Windows/macOS系統。

開發者好像沒提供CPU模式,得使用GPU計算。建議配備VRAM 8GB以上的Nvidia顯示卡,不然就只能用效果較差勁的fast模式處理。

  1. 安裝 CUDA

  2. (選擇性) 用 Anaconda建立Python虛擬環境

conda create -n transparent-background python=3.10
conda activate transparent-background
  1. 安裝完整版套件
pip install transparent-background[webcam]

2. Transparent Background使用方式
#

圖片跟影片的操作指令一樣,我就不另外提了。

指令很簡單,給定輸入影片,處理後輸出影片。程式處理完影片後會去掉聲音。

transparent-background --source "/home/user/input.mp4" --dest "/home/user/output.mp4" --type green

給定目錄,它就會批次處理目錄下的檔案。

如果GPU VRAM在4GB以下,那就用fast模式,再使用JIT即時編譯,降低VRAM佔用

transparent-background --source "/home/user/input.mp4" --dest "/home/user/output.mp4" --type green --mode fast --jit

使用--type引數指定處理背景的方式:

  • rgba去背並輸出透明色版,只能用於圖片。
  • map green綠幕。也可以填寫[255, 0, 0]的RGB顏色來指定背景顏色,但注意只有mov和webm支援透明背景的影片。
  • blur模糊背景。
  • overlay:用半透明綠色的覆蓋前景對象,並標記邊緣。
  • 圖片路徑:將該張圖片變成影片背景

3. 搭配OBS虛擬相機去背
#

先提一下,OBS Studio已經有一個類似的插件了 occ-ai/obs-backgroundremoval 安裝很簡單。如果你不很在乎高品質去背那麼就用那個就好。

在使用Transparent Background去背前,請先 參閱本篇,在Linux安裝OBS Studio,並安裝v4l2loopback核心模組。

接著,指定source,取得影像輸入,source後面的數字是/dev/video的代號:

v4l2-ctl --list-devices

transparent-background --source 11

相關文章

「Rembg」開源AI圖片去背軟體 支援Linux / Windows / macOS
分類   開源AI人工智慧應用 AI影像處理
標籤   Background Remover Object Detection GIMP Stable Diffusion WebUI
影片去碼播放器「JavPlayer」安裝與使用,靠AI消除一切馬賽克
分類   開源AI人工智慧應用 AI影像處理
標籤   Demosaic Video Upscaling Video Inpainting
DeepMosaics,用AI一鍵移除圖片和影片馬賽克!
分類   開源AI人工智慧應用 AI影像處理
標籤   Demosaic

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur連結。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。