Claude Codeで動画編集を自動化する方法

TL;DR

Claude Codeに動画素材を渡し、質問に答えるだけで、無音や重複表現のカット、テロップ、画像、効果音、BGMまで自動編集できる。FFmpeg、Whisper、Remotionと検証エージェントを組み合わせ、合格点まで再解析と修正を繰り返すことが精度向上の要点である。

Transcript

はい、こんにちは。ケトです。この チャンネルは生成に最新情報や活用事例を 紹介してます。是非チャンネル登録お願い いたします。そして今回のテーマは クロードコードのガチAI活用として私が 最近やっているクロードコードを使った 動画編集のスキルを紹介していきたいと 思います。で、今回動画編集のスキルなん ですけど、私みたいなショート動画とか YouTube動画作ってる人には もちろん役に立ちますし、その他にも教材 関連の動画を作っている、これから作って みたいって方にも多分役に立つし、あとは AI動画クリエイティブみたいのも作って みたい方も非常に役立つ内容になってると 思いますので、是非ですね、興味がある方 は最後まで見てってください。で、結論 ですね、今回の動画の内容はどんなものに なって... Read More

Key Insights

• 無音カットは、FFmpegによる解析と0.1秒単位のジェットカット指定を組み合わせ、短い余白まで除去する設計である。
• 文字起こしは、Whisperの結果を専用サブエージェントが並列に品質確認し、固有名詞などの誤認識を継続的に修正する仕組みである。
• 編集計画は、ビデオコンテンツプランナーが文字起こしとタイムラインを基に、カット位置や不要な発話を先に決める構成である。
• テロップは、1つあたり最大15文字とし、自然な区切りで分割するルールを設けることで、読みやすさと見た目を調整している。
• 映像演出は、生成画像や実際の操作画面をBロールとして挿入し、話者が映り続ける映像に画面変化を加える方法である。
• 音響設定は、スキルのフォルダーに保存した効果音とBGMを使い、映像切り替えや赤色テロップなどの注目箇所に配置する方式である。
• 品質検証は、字幕同期、表示位置、音量、黒いフレーム、異音などを確認し、合格点に達するまで修正と再レンダリングを反復する工程である。
• 最終調整は、Editor Starterでカット、画像、動画、テロップの配置をタイムライン表示し、人が細かなずれを手直しできる構成である。

Questions & Answers

Q: Claude Codeで動画編集を自動化する方法は？

事前に作成した動画編集スキルをClaude Codeで起動し、編集したい動画素材をドラッグして渡します。その後、画像生成の有無や量、タイトルなどの質問に答えて送信すると、解析、カット、テロップ作成、画像挿入、音響設定、レンダリングまで進みます。初回結果が不十分なら、問題点を具体的に伝えて再編集させます。

Q: 自動動画編集にはどのツールを組み合わせますか？

無音部分の解析やカットにはFFmpeg、音声の文字起こしにはOpenAIのWhisper、映像の合成と書き出しにはRemotionを使用します。さらに、文字起こし品質を確認するサブエージェントや編集計画を作るビデオコンテンツプランナーを動かし、複数の処理を一つのスキルにまとめています。

Q: 無音や言い間違いを正確にカットする方法は？

Whisperの文字起こしとタイムスタンプを細かく記録し、FFmpegで無音区間や余白を検出します。スキルには0.1秒単位でジェットカットを行う指示を加え、フィラーワード、言い直し、同じ言葉の重複も削除対象にします。初回で残った箇所は具体例を示して再修正させることが重要です。

Q: テロップの読みやすさと同期精度を高める方法は？

テロップは1つにつき最大15文字とし、文章を自然な区切りで分割するルールを設定します。文字起こしとタイムスタンプは0.1秒単位で扱い、完成後には音声とテロップのずれが0.2秒以内かを検証します。顔との重なりや表示位置も確認し、問題があれば再レンダリングします。

Q: Whisperの文字起こしミスを修正する方法は？

Whisperで文字起こしした後、字幕品質チェック専用のサブエージェントを同時並行で動かします。このエージェントが文脈を確認し、例えばカタカナで出力された固有名詞を適切な英字表記へ直すなど、認識結果を継続的に補正します。これにより、字幕構成を作る前段階の品質を高められます。

Q: 生成画像やBロールを動画に入れる方法は？

生成画像にはGeminiのAPIキーとナノバナナを使い、話の内容に合わせた画像を作ってBロールとして配置します。実際の操作を説明する場面では、別途撮影した画面映像を渡して挿入させることもできます。さらに、RenoiseをClaude Codeへ組み込み、最適な箇所に生成動画を入れる手順も試されています。

Q: 自動編集した動画の品質を検証する方法は？

完成した動画をすぐ採用せず、Whisperで再解析して不要な発話が残っていないかを確認します。加えて、字幕同期、顔とテロップの重なり、効果音とBGMの音量、カット間の黒い画面、つなぎ目の異音などを検査します。不合格なら再レンダリングし、検証エージェントが合格点と判断するまで修正を繰り返します。

Q: AI編集後に人が細かく修正する方法は？

Remotion向けのEditor Starterを起動し、ローカルホストのURLをブラウザで開くと、編集内容をタイムライン上で確認できます。テロップの位置やBロール画像の配置などを手動で移動できるため、AIに大部分を編集させた後、残った微妙なずれだけを人が調整できます。動画内ではEditor Starterの価格は10万円と説明されています。

Summary & Key Takeaways

• 動画編集スキルを起動して素材を渡し、画像生成の有無や枚数、タイトルなどの質問に答えると処理が始まる。FFmpegで無音区間や余白を解析し、Whisperで音声を文字起こししたうえで、フィラーワードや言い直し、重複した言葉を除去する。カット後の映像はRemotionで合成し、ショート動画として書き出す。

• 編集品質を高めるため、字幕は最大15文字を目安に自然な位置で分割し、文字起こしとタイムスタンプを0.1秒単位で管理する。字幕品質チェック用のサブエージェントが固有名詞などの誤認識を修正し、コンテンツプランナーがカット位置や不要部分を判断する。画像生成にはGeminiのAPIキーとナノバナナを利用している。

• 完成後も、音声とテロップのずれ、顔と字幕の重なり、効果音やBGMの音量、黒い画面、つなぎ目の異音などを検証する。問題があれば再レンダリングと再検証を繰り返し、必要なら有料のEditor Starterでタイムラインを開いて手動調整する。実画面やRenoiseで生成した動画をBロールとして加える構想も紹介されている。