ComfyUIでAIダンス動画を作る方法

TL;DR

元動画を棒人間の連番画像へ変換し、プロンプトと参考画像をIPAdapterで反映して、AnimateDiffを使った別題材のダンス動画に再構成する。少数フレームで試作してから全画像を処理し、最後にHitPawでフレーム補間と高画質化を行う。

Transcript

[音楽] 植物折り紙花本来動かないものが踊ると 再生回数がすごいことになってた花が踊る と1000万再生折り紙が踊ると 2000万再生葉っぱは5000万再生 このアカウントはAIBから花に書いた だけで回が桁違いに変わってたまそれは みんなAIビジョに飽きたからね実は今回 の企画は視聴者さんからの質問がきっかけ でしたこの動画のように動く表現を細かく 表現できるツールはラウェイヘパキカは 無理ですガチ勢が使うディスコ ディフュージョンワープFJコンフィUI しか再現が不可能です今回は最近海外で 話題になってるコンフィUIのツールを 使って人が動いてる動画を皆さんが想像し てるものに変えるやばいやつを教えちゃい ます動画編集スキルは全く不要です根性 さえあれば誰でもできますあとパソコンの スペ... Read More

Key Insights

• 制作工程は、元動画を棒人間の連番画像へ変換し、その姿勢情報にプロンプトと参考画像の外観を加えて再び動画化する二段階構成である。
• ComfyUIの導入には本体、Git、ComfyUI Managerが必要であり、配布一式は合計約30GBと説明されているため保存容量の確認が必要である。
• 必要なモデルは、チェックポイント、IPAdapter、画像エンコーダー、ControlNet、HotshotXLの5種類であり、それぞれ指定フォルダーへ保存する。
• 初期テストはロード上限を4枚に設定して実行し、棒人間画像や生成結果を確認してから、上限を0または全画像数へ変更して本処理へ進む。
• IPAdapterの値は、低いほど添付した棒人間の姿勢へ近づき、高いほどプロンプトと参考画像の外観へ寄る一方、元の姿勢から離れやすくなる。
• 生成条件の例はステップ30、フレーム24、出力形式MP4であり、フレーム数を増やすほど滑らかになる一方で処理時間も長くなる。
• 処理負荷は高く、話者の環境では20秒の動画生成に8時間を要したため、試作時は画像枚数と動画サイズを小さくすることが重要である。
• 仕上げ工程は、HitPawでフレーム補間モデルを4倍に設定した後、生成した動画を再読込し、General Denoiseモデルで画質を高める流れである。
• 🎬 このチャンネルの他の動画:
  • OiiOii AIで短編アニメを作る方法
  • OiiOii AIで長編アニメを作る方法
  • Nano Bananaでカメラアングルを変える方法
• 📺 このチャンネル: RKJ VIDEO 【イケている動画を作りたいなら】

Questions & Answers

Q: ComfyUIでAIダンス動画を作る方法は？

元になる人物のダンス動画を棒人間の連番画像へ変換し、その画像群を姿勢の基準として使います。次に、プロンプトと参考画像をIPAdapterで反映し、AnimateDiffを含む配布ワークフローで別の題材へ変換してMP4として出力します。

Q: AIダンス動画のプロンプトを作る方法は？

作りたい動画のスクリーンショットを撮り、MidjourneyのDescribe機能へ送って画像を表すプロンプトを取得します。取得した文章内の葉っぱや背景などの語句を、自分が表現したい人物、植物、折り紙などの題材へ書き換えて使用します。

Q: ComfyUIの導入に必要なものは何ですか？

ComfyUI本体、Git、ComfyUI Managerの導入が必要です。ComfyUIのZIPファイルを展開し、Managerをインストールした後、WindowsではRun NVIDIA GPUのバッチファイルを起動する手順が示されています。配布一式は約30GBあるため、保存先の空き容量も確認します。

Q: AIダンス動画に必要なモデルは何ですか？

チェックポイント、IPAdapter、画像エンコーダー、ControlNet、HotshotXLの5種類が必要です。チェックポイントはmodels/checkpoints、IPAdapterはmodels/ipadapter、画像エンコーダーはmodels/clip_visionなど、説明された保存先へ配置してワークフローから選択します。

Q: 配布されたComfyUIワークフローの使い方は？

ワークフローファイルをComfyUIへドラッグして読み込みます。左側のブロックで元動画を棒人間の連番画像へ変換し、右側のブロックでその画像、プロンプト、参考画像、各モデルを組み合わせて新しい動画を生成します。使用しない側は複数選択して無効化します。

Q: IPAdapterの値はどのように調整しますか？

棒人間が示す姿勢と、プロンプトや参考画像が示す外観の両方を見ながら中間的な値を探します。値が0に近いほど棒人間の姿勢へ近づき、値を大きくすると参考画像側の外観へ近づきますが、元の姿勢から離れやすくなるため、少数画像で反復確認します。

Q: 生成前のテストはどのように行いますか？

最初はロード上限や変換枚数を4枚に設定し、短い処理で棒人間画像と最終画像を確認します。顔が検出される場合はDetect Faceを無効にし、姿勢や外観が適切になるまでプロンプトとIPAdapterの値を調整してから、0または全画像数へ変更します。

Q: AIダンス動画の処理時間を短くする方法は？

テスト段階では変換する画像を4枚程度に抑え、動画の画面サイズとフレーム数も小さく設定します。話者の例では20秒の動画に8時間かかっているため、最初から全196枚などを処理せず、少数の画像で設定を固めてから本生成へ進む方法が効率的です。

Q: 生成したAIダンス動画を滑らかにする方法は？

HitPawへ生成動画をドラッグし、フレーム補間モデルを選んで4倍に設定します。プレビューで動きを確認して問題がなければ書き出します。ComfyUI側でもフレーム数を増やすほど滑らかになりますが、処理時間が長くなるため、生成後の補間と組み合わせます。

Q: 生成したAIダンス動画を高画質化する方法は？

フレーム補間後の動画をHitPawへ再度読み込み、General Denoiseモデルを選択してプレビューを確認します。説明では、この処理によって4Kサイズへ変換できるとされています。問題がなければ右上のエクスポートから完成動画を書き出します。

Q: パソコンの性能が足りない場合はどうすればよいですか？

オンラインで利用できるThink Diffusionを代替手段として使います。説明では1時間無料で利用できるとされています。ローカル環境でComfyUIを動かす前に試し、制作を継続したいと判断した段階でパソコンの買い替えを検討する流れが示されています。

Summary & Key Takeaways

• 最初にダンスの元動画を用意し、そのスクリーンショットをMidjourneyのDescribe機能へ送ってプロンプトを取得する。葉っぱや背景などの語句を別の題材へ書き換えれば、元の動きを保ちながら異なる外観を目指せる。ComfyUI、Git、ComfyUI Managerを導入し、約30GBの保存容量も事前に確保する。

• 配布ワークフローは、元動画を棒人間の連番画像へ変換する左ブロックと、その画像群を新しい動画へ変換する右ブロックで構成される。チェックポイント、IPAdapter、画像エンコーダー、ControlNet、HotshotXLの各モデルを指定先へ保存し、まず4枚だけ処理して姿勢や見た目を確認する。

• IPAdapterの値は、参考画像の外観と棒人間が示す姿勢のバランスを左右する。テスト後は全196枚など実際の画像数を設定し、ステップ30、フレーム24、MP4で出力する例が示される。20秒の処理に8時間かかった例もあるため、小さい画面サイズと少ない枚数で検証し、完成後にHitPawで4倍のフレーム補間と高画質化を行う。