StableVideo-文本驱动的一致性感知扩散视频编辑

前言#

本文简单记录介绍一下 StableVideo。

StableVideo 是一个基于文本驱动的一致性感知扩散视频编辑工具。

31-stablevideo-overview

正文#

一、什么是 StableVideo#

可以在修改视频中的对象的同时能随着时间的推移保持其外观一致性。

二、StableVideo 功能#

将时间依赖性引入现有文本驱动的扩散模型来解决此问题，这使得模型能够为编辑的对象生成时间一致的外观

三、StableVideo 使用#

下载并安装项目依赖

git clone https://github.com/rese1f/StableVideo.git
conda create -n stablevideo python=3.11
pip install -r requirements.txt
(optional) pip install xformers

项目还提供了CPU only 版本。

下载预训练模型
下载示例数据
开始测试：python app.py

四、总结#

使用 SD 直接修改视频会出现每帧都有一些差别，时间上不一致，这个项目通过增加时间依赖性模块，可以减轻时间不一致的副作用，值得尝试。

最后#

参考文章：

官方项目

声明#

本文仅作为个人学习记录。
本文与HBlog保持同步。