StableVideo-文本驅動的一致性感知擴散視頻編輯

前言#

本文簡單記錄介紹一下 StableVideo。

StableVideo 是一個基於文本驅動的一致性感知擴散視頻編輯工具。

31-stablevideo-overview

正文#

一、什麼是 StableVideo#

可以在修改視頻中的對象的同時能隨著時間的推移保持其外觀一致性。

二、StableVideo 功能#

將時間依賴性引入現有文本驅動的擴散模型來解決此問題，這使得模型能夠為編輯的對象生成時間一致的外觀

三、StableVideo 使用#

下載並安裝項目依賴

git clone https://github.com/rese1f/StableVideo.git
conda create -n stablevideo python=3.11
pip install -r requirements.txt
(optional) pip install xformers

項目還提供了CPU only 版本。

下載預訓練模型
下載示例數據
開始測試：python app.py

四、總結#

使用 SD 直接修改視頻會出現每幀都有一些差別，時間上不一致，這個項目通過增加時間依賴性模塊，可以減輕時間不一致的副作用，值得嘗試。

最後#

參考文章：

官方項目

聲明#

本文僅作為個人學習記錄。
本文與HBlog保持同步。