序文#
この記事では、AnimateDiff について簡単に紹介します。
AnimateDiff は、文書に個別のアニメーション効果を追加することができます。SD WebUI プラグインにも対応しています。
本文#
1. AnimateDiff とは#
AnimateDiff は、特定の調整なしにテキストから画像への拡散モデルにアニメーション効果を追加することができるツールです。
2. AnimateDiff の使用とトレーニング#
AnimateDiff を使用するには、基本的な文書生成モデルとモーションモジュールの微調整モデルが必要です。公式では、事前にトレーニングされた個別化モデルも提供されています。これらを使用して特定のコマンドを実行することで、アニメーションを生成することができます。
- メインプロジェクトのインストール
git clone https://github.com/guoyww/AnimateDiff.git
cd AnimateDiff
conda env create -f environment.yaml
conda activate animatediff
- 基本的な文書生成モデルの使用（SD モデル）
モデルはこちらからダウンロードしてください：https://huggingface.co/runwayml/stable-diffusion-v1-5 models/StableDiffusion/
- モーションモジュールの微調整パラメータのダウンロード
こちらからダウンロードしてください：https://huggingface.co/guoyww/animatediff
- 公式で提供されている事前にトレーニングされたモデルのダウンロード
bash download_bashscripts/1-ToonYou.sh
bash download_bashscripts/2-Lyriel.sh
bash download_bashscripts/3-RcnzCartoon.sh
bash download_bashscripts/4-MajicMix.sh
bash download_bashscripts/5-RealisticVision.sh
bash download_bashscripts/6-Tusun.sh
bash download_bashscripts/7-FilmVelvia.sh
bash download_bashscripts/8-GhibliBackground.sh
モデルは CivitAI 上にあります。
- 実行
アニメーション効果を生成する例：python -m scripts.animate --config configs/prompts/1-ToonYou.yaml
3. 結論#
現時点では、AnimateDiff はSD WebUI のプラグインもサポートしており、非常に便利です。基本的な文書生成モデルには、さまざまな優れた SD ベースのモデルを使用することができます。
最後に#
参考記事：
免責事項#
この記事は個人の学習記録として作成されました。
この記事はHBlogと同期しています。