Dream Machineで高品質動画を作る方法

TL;DR

Dream Machineで高品質な動画を作るには、英語でスタイル、被写体、動き、風景、カメラワーク、光や表情を具体的に指定し、複数回生成して良い結果を選ぶ。画像からの動画化は比較的滑らかだが失敗も多いため、画像生成AIや動画変換AI、最終フレームの再利用を組み合わせると活用範囲を広げられる。

Transcript

はいこんにちはケトです今回はですね先日 非常に話題になったルマAIのドリーム マシンと言われる動画生成AIについて しっかりと解説していきたいと思いますえ こちらのサービスにですね私も有料課金を しましてえ合計100本以上の動画をです ね生成してみましたのでそこで分かってき たポイントやコツえそしてですね活用事例 やアイデアなども一緒に紹介していきたい と思いますえ是非ですね今これ めちゃくちゃ話題ですのでえこの解説を 聞いてもらった後にですね皆さんもですね 色々と作って見てください非常に面白いん で是非触ってみてくださいちなみに私の チャンネルはAIやWEBに関する便利な ツルや情報を共有してるチャンネルです チャンネル登録集めない方はチャンネル 登録などお願いいたしますそれでは本題に 入... Read More

Key Insights

• Dream Machineは、テキスト指示と入力画像の両方から最大5秒の動画を生成でき、リアルで立体感のある映像を作れるサービスである。
• 生成品質は試行ごとの差が大きく、話者が113本を作った経験では、詳細なプロンプトを使っても意図どおりの結果が保証されなかった。
• 英語のプロンプトは日本語より指示が反映されやすく、スタイル、品質、被写体、動作、背景、カメラ、光を具体化する必要がある。
• 画像からの動画生成は、元画像とのつながりを比較的滑らかに保ちやすく、過去の写真や偉人の画像を自然に動かす用途と相性が良い。
• リアルな人物、猫、街並み、列車の窓、建設現場などは良好な例が得られた一方、文字や道具の細部には不自然さが残った。
• 複数の動物や激しい戦闘、アニメ表現、人物の複雑な歩行は破綻しやすく、形状変化、瞬間移動、逆向きの歩行、静止が発生した。
• 狙った被写体は、3Dアセットを作り、Adobe Fireflyの参照構成で画像化してからDream Machineへ渡す手順で制御しやすくなる。
• 長い動画は、生成動画の最終フレームをChatGPTで画像化し、その画像から続きを生成する工程を繰り返すことで作成できる。

Questions & Answers

Q: Dream Machineで高品質な動画を作る方法は？

英語で映像の構成要素を細かく指定し、複数回生成して良い結果を選ぶ方法が有効です。スタイル、画質、被写体、動作、背景、カメラワーク、光、表情や感情を分けて記述します。ただし、話者の試行では詳細な指示を与えても結果のばらつきが大きく、再生成を前提にする必要がありました。

Q: Dream Machineとは何ですか？

Dream Machineは、Luma AIが提供する動画生成AIサービスです。テキストプロンプトから動画を作れるほか、入力画像を動かすこともでき、生成される動画は最大5秒です。話者は、Luma AIが以前から3D関連サービスを展開していたことを踏まえ、立体的な表現を得意としていると評価しています。

Q: Dream Machineのプロンプトには何を書けばよいですか？

プロンプトには、映像スタイル、画質、被写体、被写体の行動、背景や場面、カメラの視点と動き、光、表情や感情を記載します。例えば、映画的かアニメ調か、何を映すか、被写体がどう動くか、カメラが追跡するかなどを分けて具体化すると、意図を伝えやすくなります。

Q: Dream Machineでは日本語と英語のどちらを使うべきですか？

話者の試行では、英語のプロンプトを使う方が適切な結果を得やすいとされています。日本語では意図と大きく異なる映像が出ることが多かったため、必要な映像要素を日本語で整理した後、英語へ翻訳して入力する方法が現実的です。ただし、英語でも結果が安定するとは限りません。

Q: Dream Machineはどのような動画生成が得意ですか？

リアルで立体感のある場面、滑らかなカメラ移動、被写体の大きな動きを含む短い動画が得意です。話者の成功例には、猫、人物が歩く街、列車の窓、建設現場、海辺、富士山などがありました。画像から人物を動かした例では、瞬きや首の動きも自然に見えたと評価されています。

Q: Dream Machineで動画が失敗する原因は何ですか？

複雑な被写体や激しい動作を安定して維持できず、形状や位置の一貫性が崩れることが主な問題です。紹介された失敗例では、動物が別の形に変わる、物体が消える、瞬間移動する、人物が後ろ向きに歩く、口元以外が動かないといった現象が起きました。物理的に不自然な動きも見られます。

Q: Dream Machineで狙ったキャラクターを動かす方法は？

先に画像や3Dアセットでキャラクターの姿を作り、その画像をDream Machineへ入力して動画化します。紹介例では、Luma AIのGenieで3Dアセットを作り、スクリーンショットをAdobe Fireflyの参照構成へ渡してカボチャのキャラクター画像を生成し、その画像をDream Machineで歩かせています。

Q: Dream Machineで5秒を超える動画を作る方法は？

生成動画の最後のフレームを静止画像として取り出し、その画像を次の動画生成の開始点として使います。紹介された手順では、動画をChatGPTのGPT-4oに添付して最終フレームをJPEGで書き出し、それをDream Machineへ入力して続きを生成しました。この工程を繰り返し、5本をつないだ25秒の例が示されています。

Q: Dream Machineで生成した崩れた動画を改善する方法は？

元動画の動きやカメラワークを残しつつ、別の動画変換AIで画風を変える方法があります。紹介例では、崩れたマフィアの戦闘映像をDomo AIへ入力し、アニメ調へ変換することで輪郭のはっきりした表現にしています。ただし、元の内容を正確に修復する方法ではなく、別の表現として再構成する手法です。

Q: Dream Machineはどのような用途に活用できますか？

過去の写真、卒業アルバム、フィギュア、レゴなど静止した素材を動かす用途に活用できます。また、川、雲、爆発など抽象度の高い映像を動画の一場面や広告背景へ使う案、短く面白い生成映像をXやTikTokへ投稿する案も紹介されています。商品広告では被写体が崩れないことが重要です。

Summary & Key Takeaways

• Dream Machineは、テキストプロンプトまたは画像から最大5秒の動画を生成できるLuma AIのサービスである。話者が113本を生成した範囲では、リアルで立体的な表現、滑らかなカメラワーク、被写体の大きな動きに強みが見られた。一方、物理的に不自然な動きや形状の崩れもあり、品質は生成ごとに大きく変動した。

• プロンプトでは、映像のスタイルと品質、被写体、被写体の行動、背景や場面、カメラの視点と移動、光、表情や感情を細かく言語化することが重要である。話者の試行では日本語より英語の指示が有効だった。ただし、詳細な指示でも結果は安定せず、アニメ、複数の動物、人物の歩行などでは破綻や静止が発生した。

• 活用方法には、画像生成AIで狙った被写体を作ってから動かす方法、生成動画を別のAIでアニメ調などに変換する方法、最終フレームを画像化して次の動画につなぐ方法がある。過去写真やフィギュアを動かす、抽象的な映像を動画や広告の背景に使う、SNS向けの短い作品を作る用途が挙げられる。