快轉到主要內容

開源AI影片去背軟體 Transparent Background,移除一切干擾的背景

分類   開源AI應用 AI影像處理
標籤   Background Remover Object Detection
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄

Transparent Background這款軟體可以利用AI技術,自動給圖片和影片去背,特別的是還支援OBS攝像機鏡頭即時去背。

實測影片去背效果:

原始影片Thom Yorke跳蓮花舞,4分22秒處開始

去背影片,效果還行。

另一部去背測試,藤原書記舞。動畫的效果似乎比真人影片要差,或者真的背景太複雜了?

Transparent Background不只可以去背,也能生成綠幕,之後就可以放到Kdenlive等剪輯軟體,做進一步加工。如圖,Kdenlive的Chroma Color Selection特效能夠一鍵去綠幕。

我自己的測試覺得,就圖片去背而言,Transparent Background與 Rembg不分上下。但Transparent Background的影片去背效果比 Johnathan Nader的BackgroundRemover要好,產生的檔案大小也比較合理。

同樣是去背,二者使用的模型不一樣,Transparent Background背後使用的模型為 InSPyReNet,非U2-Net。

1. 安裝Transparent Background
#

本軟體為韓國資訊通信企劃評價院(IITP)贊助的計畫,原始碼位於 Github儲存庫,由Taehun Kim管理。

Transparent Background以Python寫成,支援Linux/Windows/macOS系統。

開發者好像沒提供CPU模式,得使用GPU計算。建議配備VRAM 8GB以上的Nvidia顯示卡,不然就只能用效果較差勁的fast模式處理。

  1. 安裝 CUDA

  2. (選擇性) 用 Anaconda建立Python虛擬環境

conda create -n transparent-background python=3.10
conda activate transparent-background
  1. 安裝完整版套件
pip install transparent-background[webcam]

2. Transparent Background使用方式
#

圖片跟影片的操作指令一樣,我就不另外提了。

指令很簡單,給定輸入影片,處理後輸出影片。程式處理完影片後會去掉聲音。

transparent-background --source "/home/user/input.mp4" --dest "/home/user/output.mp4" --type green

給定目錄,它就會批次處理目錄下的檔案。

如果GPU VRAM在4GB以下,那就用fast模式,再使用JIT即時編譯,降低VRAM佔用

transparent-background --source "/home/user/input.mp4" --dest "/home/user/output.mp4" --type green --mode fast --jit

使用--type引數指定處理背景的方式:

  • rgba去背並輸出透明色版,只能用於圖片。
  • map green綠幕。也可以填寫[255, 0, 0]的RGB顏色來指定背景顏色,但注意只有mov和webm支援透明背景的影片。
  • blur模糊背景。
  • overlay:用半透明綠色的覆蓋前景對象,並標記邊緣。
  • 圖片路徑:將該張圖片變成影片背景

3. 搭配OBS虛擬相機去背
#

先提一下,OBS Studio已經有一個類似的插件了 occ-ai/obs-backgroundremoval 安裝很簡單。如果你不很在乎高品質去背那麼就用那個就好。

在使用Transparent Background去背前,請先 參閱本篇,在Linux安裝OBS Studio,並安裝v4l2loopback核心模組。

接著,指定source,取得影像輸入,source後面的數字是/dev/video的代號:

v4l2-ctl --list-devices

transparent-background --source 11

相關文章

「Rembg」開源AI圖片去背軟體 支援Linux / Windows / macOS
分類   開源AI應用 AI影像處理
標籤   Background Remover Object Detection GIMP Stable Diffusion WebUI
DeepMosaics,用AI一鍵移除圖片和影片馬賽克!
分類   開源AI應用 AI影像處理
標籤   Demosaic
DoujinCI ~ AI自動去圖片馬賽克和海苔條
分類   開源AI應用 AI影像處理
標籤   Demosaic Image Inpainting Doujinshi Manga

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur或Postimages。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。為防止垃圾內容,有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。若要上傳圖片請善用圖床網站。