AnimateDiff-為文生圖添加動畫效果

前言#

本文簡單記錄介紹一下 AnimateDiff。

AnimateDiff 可以個性化為文生圖添加動畫效果，支援 SD WebUI 插件。

25-aninatediff-framework

正文#

一、什麼是 AnimateDiff#

AnimateDiff 可以讓使用者無需特定調整就能夠為個性化的文本到圖像擴散模型添加動畫效果。

二、AnimateDiff 使用與訓練#

使用 AnimateDiff 需要使用基礎文生圖模型和運動模塊微調模型，官方提供了預訓練好的個性化模型。有了這些就可以通過運行特定命令來生成動畫。

0、安裝主專案

git clone https://github.com/guoyww/AnimateDiff.git
cd AnimateDiff

conda env create -f environment.yaml
conda activate animatediff

1、基礎文生圖模型使用 SD 模型

在此處下載模型https://huggingface.co/runwayml/stable-diffusion-v1-5 models/StableDiffusion/

2、下載運動模塊微調參數

在此處下載https://huggingface.co/guoyww/animatediff

3、下載官方提供的預訓練好的模型

bash download_bashscripts/1-ToonYou.sh
bash download_bashscripts/2-Lyriel.sh
bash download_bashscripts/3-RcnzCartoon.sh
bash download_bashscripts/4-MajicMix.sh
bash download_bashscripts/5-RealisticVision.sh
bash download_bashscripts/6-Tusun.sh
bash download_bashscripts/7-FilmVelvia.sh
bash download_bashscripts/8-GhibliBackground.sh

模型在 CivitAI 上。

4、運行

一個生成動畫效果的例子python -m scripts.animate --config configs/prompts/1-ToonYou.yaml

三、總結#

目前 AnimateDiff 還支援SD WebUI 的插件運行，非常方便，基礎文生圖模型可以使用各種優秀的基於 SD 的模型。

最後#

參考文章：

官方專案

sd-webui-animatediff

聲明#

本文僅作為個人學習記錄。
本文與HBlog保持同步。