AIで動画のカットと字幕を自動化する方法

TL;DR

動画ファイルと任意の台本のパスを指定し、専用スキルと指示書を実行すれば、不要部分のカットから字幕入り動画の出力まで自動化できる。話し間違いの除去、素材の並べ替え、1行字幕の区切りや表示タイミングにも対応し、編集可能なレイヤーとしての配置も指定できる。

Transcript

こんにちは、皆さん。今日は楽しみです。 今日は興奮しますよ。今更自動カットと 字幕のことを自動でできるって発信してる のと思うかもしれないじゃないですか。で も毛が違います。今回は今まで私もそう いった情報をずっとおてなんとかしてこの カットとテロポを完璧にAIでやって もらおうとしてみました。でも完成度は そこまで高くなくて結局外部のツールを 使ってきました。毎月2000ぐらいの サブスクを使用したり、あと1万円の 買い切りソフトも使ったりしてやってきた んですけど、今日でそこが完全に解決でき ます。マジですごいです。しかもたった1 回の指示書で完成動画が出てきます。で、 まずですよ、興奮が止まらなくてちょっと 申し訳ないです。まず落ち着いて話します ね。まず今まで何をどうしてきたかを話し... Read More

Key Insights

• 従来の自動カットは音量を基準に処理できる一方、言い間違いや文脈上不要な発話を判断して除去する作業までは自動化できなかった。
• AIによるカットは、噛んだ箇所の言い直しや「えっと」「あの」などを文脈から判断し、自然につながる形へ整理できると紹介されている。
• 台本は編集精度を高める参照資料であり、撮影した素材の順番が逆でも、台本の構成に合わせて冒頭と本編を並べ直すために使われる。
• 字幕生成は日本語の認識精度だけでなく、1行に収まる自然な区切りと、発話に対して1、2フレームもずれない表示タイミングが重視される。
• 自動編集の入力は専用スキル、動画のファイルパス、任意の台本パス、長い指示書で構成され、動画自体のドラッグ操作は不要と説明されている。
• 出力形式は初心者向けの字幕入りMP4だけでなく、後から人間が修正しやすいよう、編集ソフト内にブロック状のレイヤーとして配置する指定もできる。
• 字幕デザインはフォント、文字間隔、サイズ、色、完成例を示すスクリーンショットを渡すことで、利用者が普段使う見た目に近づけられる。
• 処理例は4K、11GB、26分の動画であり、依頼した4時30分から5時20分ごろまで、ほぼ1時間で完成したと報告されている。

Questions & Answers

Q: AIで動画のカットと字幕を自動化する方法は？

専用のカット用スキルを読み込み、編集したい動画のファイルパスを指定します。台本がある場合は、そのファイルパスも追加し、概要欄などで共有された指示書を貼り付けて実行します。これにより、言い間違いや不要語のカット、字幕生成、指定形式での動画出力をまとめて依頼できます。

Q: 動画編集をAIへ依頼するときに必要なものは何ですか？

必須なのは、読み込み済みの専用スキル、編集対象となる動画のファイルパス、編集内容を定める指示書です。台本は必須ではありませんが、用意できる場合はファイルパスを渡すことで、発話内容の判断や素材の並べ替えを含む編集精度を高められると説明されています。

Q: なぜ動画ファイルを直接添付せずパスで指定するのですか？

ファイルパスは、パソコン内で動画が保存されている場所をAIへ伝える住所として使われます。動画をドラッグして送るのではなく、Macでは右クリック時にオプションを押してパス名をコピーし、その文字列を指示へ貼り付けます。Windowsでは別の方法でパスをコピーすると案内されています。

Q: 台本をAI動画編集に渡すメリットは何ですか？

台本を渡すと、AIが完成動画の構成と発話内容を照合しやすくなります。紹介例では、本編を先に撮り、冒頭部分を後から撮影した素材でも、AIが台本の順番を参照して冒頭を先頭へ移し、その後に本編が自然に続くよう並べ直したとされています。

Q: AIは噛んだ部分や不要な言葉をどのように処理しますか？

音量だけを基準にする外部ツールとは異なり、AIは発話の文脈を見ながら、繰り返した言葉や言い直しのうち、どこを残してどこを切るか判断します。「えっと」「あの」などの不要語も対象となり、切った後の会話が自然につながるよう編集すると説明されています。

Q: AI字幕を自然な1行表示にする方法は？

専用スキルと指示書で字幕の区切り方を指定し、1つの字幕が長くなりすぎたり2行になったりしないよう処理させます。紹介された完成例では、字幕が1行で意味の切れ目よく表示され、発話とのタイミングも1、2フレームほどずれる従来の問題が解消されたと評価されています。

Q: 字幕のフォントや色を自分のスタイルに合わせる方法は？

普段使っている編集ソフトで字幕のフォント、文字間隔、サイズ、色が分かる画面をスクリーンショットにします。さらに完成状態の見本も撮影し、既定の字幕デザイン指定を削除して「添付した写真通りにすること」と指示し、画像を一緒に渡すことで希望の見た目を伝えます。

Q: 自動編集した動画はどの形式で出力できますか？

初心者向けには、字幕が直接入った完成済みのMP4動画として出力できます。実務で後から細部を直す場合は、完成動画を1本追加するのではなく、編集ソフトのプロジェクト内へ修正しやすいブロック状のレイヤーとして配置するよう指示できます。用途に応じて出力方法を選べます。

Summary & Key Takeaways

• 従来は、音量を基準に切るオートカット、Whisper AIのラージV3モデルを使う字幕ツール、区切りを改善する外部ツールなどを併用していた。しかし、言い間違いや「えっと」などの判断を伴う除去、字幕の自然な区切り、表示タイミングのずれには手作業が残り、処理速度もパソコン性能に左右されていた。

• 自動編集では、専用スキルを読み込み、編集対象動画のファイルパス、任意の台本ファイルのパス、公開された指示書を渡す。台本があれば内容と構成を判断する手掛かりになり、撮影順が逆でも台本順に並べ直せる。初心者は字幕入りMP4、実務利用者は修正可能な編集ソフト上のレイヤーとして出力を指定できる。

• 字幕の見た目は、フォント、文字間隔、サイズ、色、完成例のスクリーンショットを添付して指定できる。紹介されたテストでは、4K、11GB、26分の素材が約1時間で処理され、話し間違いの整理と1行字幕の生成が行われた。将来はリサーチ、台本、音声生成、カット、字幕まで一連のスキル化を目指している。