快轉到主要內容

RIFE:補幀提高影片FPS,增加流暢度的開源免費軟體

分類   開源AI應用 AI影像處理
標籤   Video Frame Interpolation VapourSynth
🗓️ 民國113年 甲辰年
✍ 切換正體/簡體字
目錄

本文Ivon講解如何在Linux安裝RIFE,使用RIFE轉檔。

轉檔方法分為官方Python程式以及VapourSynth兩種。

Youtube上常會看到一些4K60p的動畫片頭曲影片,明明原廠沒有提供那麼高畫質,那他們的片源是哪來的呢?八成是自己轉的,這個技術稱為動畫補幀(video frame interpolation),由電腦演算出每幀(畫格)之間缺少的幀,使動畫變得很流暢的手法。

說到能作到動畫補幀的軟體,不妨試試「RIFE」吧,這是旷视研究院在論文 Real-Time Intermediate Flow Estimation for Video Frame Interpolation所提出的影片補幀方法。

RIFE研究者所提供的程式可以將影片轉檔,將FPS補幀成任意速度,例如將30FPS影片變成120FPS,呈現的畫面品質比 MPV + MVtools要好。用RIFE補幀後,再配合 MPV +Anime4K或ESRGAN這類放大影片的軟體,就能將任何一部影片變成4K60p的豪華內容。

例如下面這部強襲魔女的影片所示,30FPS → 60FPS

1. 安裝RIFE
#

RIFE的演算法有很多圖形前端,像Flowframes、SVFI、Waifu2x-Extension-GUI等,方便使用者轉檔。不過那些圖形前端只有Windows版,對Linux用戶來說幾乎無用,所以Linux用戶只能用RIFE指令轉檔了,好在過程並不複雜。

  1. 安裝 Anaconda,建立Python3.8環境:
conda create --name rife python=3.8
conda activate rife
  1. 複製RIFE儲存庫
git clone [email protected]:megvii-research/ECCV2022-RIFE.git
cd ECCV2022-RIFE
  1. 安裝依賴套件。
pip install -r requirements.txt
  1. numpy可能需要降級為1.20.0版本,否則會出現'numpy' has no attribute 'float'錯誤。
pip install numpy==1.20.0
  1. 下載 RIFE模型v3.6,解壓縮,將train_log放到RIFE儲存庫的目錄。

2. RIFE轉檔指令
#

在RIFE儲存庫目錄開啟終端機,並進入Python虛擬環境後,使用此指令給影片轉檔:

python3 inference_video.py --exp=<影片速率> --video="影片.mp4"

--exp為影片速率,1為二倍,2為4倍,以此類推。影片轉檔前可用VLC的檢視→媒體訊息確認影片的FPS確切數值。

例如要把30FPS的影片轉換成為60FPS:

python3 inference_video.py --exp=1 --video="video.mp4"

實測顯示卡為GTX1050Ti,10秒鐘的1080p30影片轉檔成1080p60需要5分鐘。

轉檔後的影片會位於跟輸入影片的同個目錄,檔案大概會變成二倍大。

3. 使用VapourSynth濾鏡來補幀轉檔
#

  1. 安裝 VapourSynth與VapourSynth Editor

  2. 安裝 VapourSynth-RIFE-ncnn-Vulkan插件。Arch Linux可以透過AUR安裝。

  3. 開啟VapourSynth Editor,輸入以下指令稿

from vapoursynth import core
import vapoursynth as vs

# 輸入影片
clip = core.bs.VideoSource(source='input.mkv')

# 轉成RGBS
clip = core.resize.Bicubic(clip, format=vs.RGBS, matrix_in_s='709')

# 使用RIFE處理影片,詳細函數用法看插件作者的Github
clip = core.rife.RIFE(clip)

# 轉回Y4M
clip = core.resize.Bicubic(clip, format=vs.YUV420P8, matrix_s="709")

clip.set_output()
  1. 點選 Scripts → Encode Video,Header選取Y4M,執行檔選取ffmpeg,ffmpeg輸出參數設定為-i - 路徑/output.mkv

相關文章

開源免費的AI動漫圖片 & 影片解析度放大軟體一覽
分類   開源AI應用 AI影像處理
標籤   Image Upscaling Video Upscaling Video Frame Interpolation Waifu2x MPV Anime4K VapourSynth
開源AI影片去背軟體 Transparent Background,移除一切干擾的背景
分類   開源AI應用 AI影像處理
標籤   Background Remover Object Detection
影片去碼播放器「JavPlayer」安裝與使用,靠AI消除一切馬賽克
分類   開源AI應用 AI影像處理
標籤   Demosaic Video Upscaling Video Inpainting

留言板

此處提供二種留言板。點選按鈕,選擇您覺得方便的留言板。要討論程式碼請用Giscus,匿名討論請用Disqus。

這是Giscus留言板,需要Github帳號才能留言。支援markdown語法,若要上傳圖片請貼Imgur連結。您的留言會在Github Discussions向所有人公開。

這是Disqus留言板,您可能會看到Disqus強制投放的廣告。有時留言可能會被系統判定需審核,導致延遲顯示,請見諒。