Gemini 1.5 Proで動画を解析する方法

TL;DR

Google AI StudioでモデルにGemini 1.5 Proを指定し、動画をアップロードして質問を送ると、映像と音声を組み合わせた解析ができる。検証では、画面に映ったMacBookの識別や、音声で言及されたOBSの特定に成功した一方、音楽の命名とフォルダーのアップロードには課題が残った。

Transcript

えなんかどっかしらのえ文章を聞いてみる みたいなことをしてみたいと思いますはい では続いてはですねこちらのビデオの機能 をですね検証してみたいと思いますえどう やらですねこの機能がすごいらしいです あなたに質問なんですがこのパソコンは何 のパソコンですかいやすごいいやこれは なかなかすごいんじゃない のはいこんにちはケトです今回は Googleの生成AIジェミニの最上位 モデルジェミニ1.5プというものがです ね一般の方でも使えるようになりましたの でそちらに関してを検証レビューしていき たいと思いますえどうやらですねjemi 1.5Proめちゃくちゃ性能が高くてえ できることもですね多くてかなり注目され ているみたいですのでえ今回の動画で 初めて知ったって方はですね是非ですねえ 動画見てい... Read More

Key Insights

• Gemini 1.5 Proは、話者の説明では100万トークンに対応し、長文だけでなく情報量の多い動画や音声も入力対象にできるモデルである。
• 長文検索の検証では、約69,272文字の文章から、小説のタイトルをひらめきや造語、英語で決めるという該当箇所を抽出できた。
• 動画解析は、音声で発せられた質問を認識しながら映像内の対象物も確認し、写っていたパソコンをMacBookと判断できた。
• 動画に関する追加質問では、撮影時に使われたアプリがOBSであることを音声内容から特定し、ダウンロード先の案内も生成できた。
• 音楽ファイルの命名テストは、実際の曲調と合わない無音を連想させる案が出たため、話者は期待した結果が得られなかったと評価した。
• 音声処理は、動画から抽出した音声を文字起こしし、その内容を基にブログ記事を生成する用途では、話者が高精度と評価する結果になった。
• PDF解析は、AIと著作権に関する資料から、既存作品との類似や特定クリエイターの影響など、利用者向けの注意点を整理できた。
• フォルダー入力は、ウェブサイト用の32ファイルをアップロードする検証で約10分待っても完了せず、当時の環境では動作を確認できなかった。

Questions & Answers

Q: Gemini 1.5 Proで動画を解析する方法は？

Google AI Studioでチャットプロンプトを作成し、モデルをGemini 1.5 Proに設定して動画をアップロードし、知りたい内容を文章で指示します。検証では「動画内の質問に答えてください」と送るだけで、音声中の質問を認識し、映像に写ったパソコンをMacBookと判断しました。

Q: Gemini 1.5 Proは動画の映像と音声を同時に理解できますか？

検証結果では、映像と音声の両方を参照した回答ができました。動画内で口頭によって「このパソコンは何のパソコンですか」と質問すると、映像の見た目からMacBookと判断しました。ただし、この結果は動画内の一例に基づくもので、あらゆる動画で同じ精度になるとは示されていません。

Q: Gemini 1.5 Proで長文から必要な情報を探す方法は？

長文をチャットの入力欄へ入れ、その文章について具体的な質問を送ります。約69,272文字を使った検証では、「小説のタイトルはどうやってつけていますか」と質問し、ひらめき、造語、英語などに触れた該当内容を抽出できました。質問対象を明確にすることが手順の要点です。

Q: Gemini 1.5 Proで音声を文字起こしする方法は？

動画などから用意した音声ファイルをオーディオ入力としてアップロードし、「一語一句テキスト化してください」のように指示します。検証では長い音声の解析と文字起こしが行われ、その内容を続けてブログ記事へ変換できました。画像の自動追加は難しいと回答され、代わりに画像案が提示されました。

Q: Gemini 1.5 Proで音声からブログ記事を作れますか？

音声を文字起こしした後、その会話内でブログ記事にするよう依頼すれば作成できます。検証では、YouTube動画から抽出した音声をテキスト化し、その内容を基に記事を生成しました。話者は結果を良好と評価し、動画と同じ内容をブログでも発信する用途を挙げています。

Q: Gemini 1.5 Proは音楽のタイトル案を作れますか？

タイトル案の生成自体はできましたが、検証では期待した品質になりませんでした。音楽ファイルに対して5案を求めたところ、「空白の2分間」や「無音のメッセージ」など、曲の印象と合わない案が出ました。この一例では、音楽の特徴を適切に読み取れなかった可能性があります。

Q: Gemini 1.5 ProでPDFを分析する方法は？

PDFをファイル入力からアップロードし、資料について具体的な質問を送ります。AIと著作権に関する資料の検証では、利用者が注意すべき点を尋ねると、既存著作物との類似や特定クリエイターの影響を強く受けた生成物など、資料に基づく注意事項が整理されました。

Q: Gemini 1.5 Proはフォルダーごと解析できますか？

フォルダー入力の項目はありましたが、今回の検証では正常な解析まで進めませんでした。ウェブサイトのテンプレートを構成する32個のファイルをアップロードしたところ、約10分待っても完了せず、複数回試しても成功しませんでした。そのため、フォルダー解析の実用性はこの検証だけでは判断できません。

Q: Gemini 1.5 ProのAPIはどのように取得しますか？

Google AI Studioの作成メニューにある「Get API Key」からAPIキーを取得すると紹介されています。取得したキーは、外部サービスや独自システムへGemini 1.5 Proの機能を組み込むために利用できます。動画解析を使う新しいサービスや、複数の言語モデルをまとめて扱う仕組みへの応用例が示されました。

Summary & Key Takeaways

• Gemini 1.5 Proは、Google AI Studioの「Create New」からチャットプロンプトを開き、右側のモデル設定で選択して利用する。話者によれば入力上限は100万トークンで、テキストだけでなく画像、動画、音声、ファイル、フォルダーを扱える。検証では約69,272文字の文章を入力し、埋もれていた小説タイトルの付け方に関する記述を抽出できた。

• 動画解析では、Macの内蔵カメラとOBSで撮影した映像をアップロードし、「動画内の質問に答えてください」と指示した。Gemini 1.5 Proは、音声中の質問を認識するとともに、映像に写った端末をMacBookと判断した。さらに撮影アプリを尋ねるとOBSと回答し、映像と音声を横断して情報を取り出せる可能性を示した。

• 音声では、音楽へのタイトル付けは内容に合わない案となった一方、動画から抜き出した音声の文字起こしとブログ記事化は良好だった。PDFからは生成AI利用時の著作権上の注意点を整理できたが、32個のファイルを含むフォルダーは約10分待ってもアップロードできなかった。APIキーも取得でき、外部サービスへの組み込みが可能だと紹介された。