GPT-4Vで画像解析と音声会話を使う方法

TL;DR

GPT-4Vでは、画像を添付して内容や概算カロリーを尋ねたり、スマホアプリで音声会話を行ったりできる。画像から生成AI向けの英語プロンプトを作ることも可能だが、場所や文字の認識を誤る場合があり、画像生成機能は投稿者の環境では利用できなかった。

Transcript

はいこんにちは ケイトです今回はですねチャットGPTの 最新アップデートについて話していきます 今噂のGPT4 VISIONっていうんですかねはい GPT4ビジョンについての話題になり ますどうやらですねこの機能は目の機能が あったりしゃべる機能そして聞く機能が あるみたいで めちゃくちゃすごいらしいのでその辺を 検証していきたいと思います特にしゃべる 機能が本当にすごいのでぜひ楽しみにして おいてください ちなみに私のチャンネルはAIやWEBに 関する便利なツールや情報を共有している チャンネルですチャンネル登録がお済みで ない方はチャンネル登録などお願いいたし ますそれでは本題に入っていきます はいということで早速なんですけど チャットjpt4ビジョンについてを解説 していきますこの機能... Read More

Key Insights

• GPT-4Vの画像解析は、チャット欄に写真を添付し、その画像に対する質問や指示を文章で送ることで利用できる機能である。投稿者の画面では、独立したGPT-4V選択項目ではなく、画像添付機能として追加されていた。
• 風景画像の認識は、岩肌や海岸線といった視覚的特徴を説明できる一方、写真だけから具体的な場所を特定できない場合がある。東尋坊の写真を使った検証では、景観を捉えたものの所在地までは回答できなかった。
• 画像内文字の読み取りは、文字が存在することを認識しても、内容を正確に判読できるとは限らない。東尋坊に関係する写真の検証では、別の岬の名称と所在地を回答しており、文字認識と場所推定の誤りが確認された。
• 料理写真からのカロリー推定は、食材の種類と量を画像から推測し、おおよその範囲を提示する使い方である。肉料理の例では和牛、キノコ、野菜をおおむね認識し、300～360kcal程度という概算を返した。
• 画像解析は、写真の視覚的特徴を文章化し、別の画像生成AIへ渡す英語プロンプトを作る用途にも使える。海上の崖の写真から、色彩や絵画的な質感、自然の美しさを強調する指示文が生成された。
• 音声会話機能は、投稿者の環境ではスマホアプリの設定にあるNew FeaturesからVoice Conversationsを有効にし、画面右上のヘッドホンマークを押すことで開始できた。利用にはGPT-4の有料版が前提と説明された。
• 音声会話は、話した相談内容を認識し、生成した回答を音声で読み上げながら対話を続けられる機能である。AIセミナーの集客相談では、SNSやメール、企業連携、ウェブサイト、チラシ、口コミなどを提案した。
• スマホのカメラを使った解析は、その場で撮影した写真を送り、写っている物や状況について質問できる。撮影環境の例では、OBS Studio、YouTubeの画面、スマートフォンを持つ人物を認識し、録画準備の様子だと推定した。

Questions & Answers

Q: GPT-4Vで画像を解析する方法は？

チャット欄に追加された画像添付ボタンから写真を選び、その画像について知りたい内容を文章で指示します。投稿者は風景写真を添付して場所を質問したほか、料理写真の概算カロリーや、画像生成AI向けの英語プロンプトも求めました。ただし、場所や文字を誤認する場合があるため、結果の確認が必要です。

Q: GPT-4Vは写真から場所を特定できますか？

写真から場所を必ず特定できるわけではありません。東尋坊で撮影した崖と海の写真を使った検証では、岩肌の美しい海岸線であることは認識しましたが、具体的な場所は判断できませんでした。追加情報があれば特定できる可能性があると回答しており、景観だけによる場所推定には限界があります。

Q: GPT-4Vは画像内の文字を正確に読めますか？

画像内に文字があることは認識できても、正確に読めるとは限りません。東尋坊に関係する文字入り画像を追加した検証では、GPT-4Vは別の岬の名前を読み取り、長崎県にある場所だと誤って回答しました。投稿者が正解を伝えると訂正したため、地名など重要な文字は別途照合する必要があります。

Q: 料理写真からカロリーを推定する方法は？

料理の全体と食材が見える写真を添付し、おおよそのカロリーを尋ねます。検証では、肉料理の画像から和牛のスライス、キノコ、野菜をおおむね認識し、肉の量も推測したうえで300～360kcal程度と回答しました。ただし、GPT-4V自身も大まかな推定だと示しており、確定値ではありません。

Q: 画像から画像生成AI用のプロンプトを作る方法は？

元画像を添付し、その画像をどのような作風へ変えたいかを指定して、画像生成AI向けの英語プロンプトを書き出すよう依頼します。崖と海の写真の例では、色彩を強調し、絵画的な質感を与え、自然の美しさとドラマを際立たせる内容が生成されました。投稿者はその指示文を別の画像生成AIで試しています。

Q: ChatGPTの音声会話を有効にする方法は？

投稿者の環境では、スマホアプリでGPT-4を利用できる有料版にしたうえで、右上のメニューからSettingsを開き、New Features内のVoice Conversationsをオンにします。その後、画面右上に表示されるヘッドホンのマークを押すと音声会話を開始できます。機能は順次追加されると説明されています。

Q: ChatGPTの音声会話では何を相談できますか？

一般的な相談を話しかけると、内容を聞き取り、回答を音声で返してもらえます。AIセミナーの集客方法を尋ねた例では、SNSでの宣伝、メールマガジン、関連企業との連携、専用ウェブページとSEO、地域でのチラシ、過去参加者の口コミ活用が提案されました。投稿者は英語学習への応用にも言及しています。

Q: スマホで撮影した写真をその場で解析する方法は？

スマホ版からカメラへアクセスして対象を撮影し、その写真を送信して、何が写っているか、どのような状況かを質問します。検証では、パソコン画面と撮影環境の写真からOBS Studio、YouTubeのページ、スマートフォンを持つ人物を認識し、動画録画や配信準備をしている場面だと推定しました。

Q: GPT-4Vで画像を直接生成できますか？

投稿者の環境では、画像を直接生成することはできませんでした。猿の画像を作るよう依頼しても実行できないという回答になり、Advanced Data Analysisを使った場合も同様でした。一方、紹介された記事では画像生成の例があったため、投稿者は今後組み込まれる可能性を推測していますが、動画内では利用可否を確認できていません。

Summary & Key Takeaways

• GPT-4Vの画像解析は、チャット欄から写真を添付して質問する形で利用する。東尋坊の風景写真では岩肌のある海岸線を認識した一方、場所を特定できず、文字入り写真でも別の岬と誤認した。画像の内容は捉えられても、固有の場所や文字の読み取りには誤りがあるため、回答を確定情報として扱わず確認する必要がある。

• 料理写真の解析では、和牛、キノコ、野菜などの構成をおおむね認識し、量を推定したうえで300～360kcal程度という概算を示した。また、崖と海の写真を芸術風に変換するための英語プロンプトも作成でき、投稿者はそれを画像生成AIで試した。画像理解は、内容説明だけでなく、概算や別ツール向け指示文の作成にも応用できる。

• 音声会話は、投稿者の環境ではスマホアプリの設定にあるVoice Conversationsを有効化し、表示されたヘッドホンのマークから開始できた。AIセミナーの集客相談では、SNS、メールマガジン、企業連携、ウェブサイト、オフライン宣伝、口コミ活用を音声で提案した。スマホで撮影した作業環境も解析できたが、機能は順次追加され、画像生成は利用できなかった。