快轉到主要內容

開源AI影片放大&補幀軟體:REAL Video Enhancer,支援Linux與Windows

· 民國114年乙巳年
·
切換繁體/簡體
分類   Linux系統 Linux好用軟體
標籤   Motion Interpolation Video Upscaling Vulkan CUDA
目錄

你有老影片畫質太差需要修復嗎?想要讓影片提昇到60FPS增加流暢度嗎?

「REAL Video Enhancer」可以幫你達成,它能夠將影片解析度放大,轉成4K60p的高畫質內容。

REAL Video Enhancer的功能類似專有軟體Topaz Video AI,不過其為自由軟體,完全免費使用,而且支援Linux與Windows系統。

這個軟體整合了許多開源的AI影片放大與補幀技術,將其做成圖形界面方便操作。

包含的技術如下:

  • 放大模型:SPANkendata、ClearReality、Nomos8k-SPAN、OpenProteus、AnimeJaNai (RealESRGAN)
  • 補幀模型:RIFE、GMFSS、GIMM

這裡列出的模型能夠用來處理真人與動畫類的影片。作者未來可能會加入影片修復模型支援,讓放大後影片的畫面雜訊少一些。

動漫影片放大,480p → 4K
真人影片放大,480p → 4K

請注意,REAL Video Enhancer只能放大影片,若需要Linux的圖片放大軟體,請使用Upscayl

1. 硬體需求
#

REAL Video Enhancer是用Python寫成,支援Linux與Windows系統。

針對不同品牌的GPU,REAL Video Enhancer提供多種處理後端:

  1. NCNN,透過Vulkan計算,適用於Intel、AMD、Nvidia的GPU。
  2. Pytorch,只能透過Nvidia CUDA或AMD ROCm加速。
  3. TensorRT,僅Nvidia GPU可以使用,且需要RTX 40或更新的GPU才可使用。
  4. DirectML,尚未實作。

NCNN Vulkan是最為通用的方案,大多數GPU都支援。若有獨立顯卡就用獨顯處理,用CPU內顯處理太慢了。

2. 安裝REAL Video Enhancer
#

  1. 以Ubuntu為例,Intel GPU的驅動應該包含在Mesa裡面了,至於Nvidia GPU需要安裝專有驅動

  2. 我等會要用NCNN計算,所以確認Linux系統GPU的Vulkan支援狀況:

vulkaninfo --summary
  1. 若要改用PyTorch,Nvidia GPU需要安裝CUDA

  2. 不知為何Flatpak版有奇怪的權限bug,所以先用二進位檔版本。到REAL Video Enhancer的Github下載Linux版,解壓縮。

  3. 點選REAL Video Enhancer執行檔開啟,下載依賴套件。REAL Video Enhancer會自行下載Python,不用依賴系統的Python套件。

  4. 選擇Backend,先試試NCNN Vulkan,這個適用Intel、AMD、Nvidia GPU。

  5. 開啟之後,首頁會右側顯示系統資訊。要看的是NCNN GPU的部份,把ID記下來。像我的電腦有Intel內顯和Nvidia獨顯,分別為0與1。

  6. 點選左下角設定,切換到Render Setting,選取NCNN的GPU。這裡我要用Nvidia GPU計算所以填入1。

  7. REAL Video Enhancer預設的影片編碼器是x264,使用CPU計算。如果條件允許應該能用VA-API或NVENC加速編碼才對,但我不確定Linux要安裝哪些依賴才能使用NVENC?

3. 轉檔操作
#

REAL Video Enhancer的Github頁面說這個軟體能夠即時下載網路影片並轉碼,但我找不到這功能在哪裡。

另外還有一個意義不明的「Discord顯示正在遊玩」功能??

這裡只介紹本機影片轉檔功能。

影片轉檔前,可以裝VLC播放器,播放影片時點選工具 → 編解碼器資訊,查看原始影片的編碼資訊。

點選晶片圖示進入轉檔頁面。

Input File: 選取要處理的影片。要轉檔的影片畫質至少要有480p,不能太模糊,位元率不要太低,否則放大後依然是糊成一片。此外REAL Video Enhancer輸出的時候是沿用原始影片的編碼器,需要注意AV1和H.265編碼的速度可能比H.264要慢。

Output Folder: 選取影片輸出的目錄。

Backend: 這裡我選擇NCNN,最通用的處理後端。

Upscale Model: (單純補幀影片的話不用選)每個模型有固定的放大係數,有的模型最多放大到4倍,有的只有2倍數,無法變更。模型需要依照影片類型調整,針對放大動畫的模型,建議先從RealESRGAN AnimeVideoAnimeJaNai模型開始測試。真人影片則是使用Nomos8k-SPANOpenProteus模型。

Interpolate Model:(單純放大影片的話不用選)補幀模型,一樣需要按照用途調整,選取適合動畫的RIFE Animation。

Interpolate Multiplier: 目標幀率,預設是2倍,像30FPS影片會變成60FPS,以此類推。

一切就緒後,點選Add to Render Queue,再點選播放鍵開始轉檔。轉檔時長視原始影片解析度大小而定。

相關文章

即時補幀提昇動畫影片FPS ~ Linux版MPV播放器 + VapourSynth MVTools設定教學
分類   Linux系統 Linux好用軟體
標籤   Motion Interpolation Video Upscaling VapourSynth MPV
Linux版Upscayl教學,AI放大圖片不失真,waifu2x離線替代品
分類   Linux系統 Linux好用軟體
標籤   Image Upscaling Vulkan
影片即時補幀:MPV + Linux版SVP安裝
分類   Linux系統 Linux好用軟體
標籤   Motion Interpolation VapourSynth MPV

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。為防止垃圾內容,有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。若要上傳圖片請善用圖床網站。