ChatHubで複数LLMを比較する方法

TL;DR

ChatHubをChrome拡張として追加し、利用したい各AIへブラウザーでログインすると、同じプロンプトを複数のLLMへ同時送信して回答を比較できます。モデルごとの得意分野、回答候補、同一モデルの出力の揺れをまとめて検証でき、用途に合う回答を選びやすくなります。

Transcript

リモ研究所友です今回は生成AI活用の 必須ツール複数の生成AIを同時利用する と対してお伝えします去年の最初の段階で はもう基本的にGPT4一択となので チャットGPTを有料化してGPT4で 試していけば基本的に何でも良かったよね ま他にもいろんな正さ出てるけれども とりあえず横目で見ていてメインで使うの はもうGPT4一択みたいな時期が結構 長く続いた印象がありましたところが今年 に入ってジェミであったりクロード3で あったり最近ではラーマ3であったりとか 53であったりとかいろんなllmが出て きてしかも物によってはもしくはケースに よってはもうGPT4の最新版を両がする ようなケースも普通に出てきちゃってるん ですねこういう段においてはあるプロンプ とある指示をする時にはGP4がいいか... Read More

Key Insights

• ChatHubは、同一のプロンプトを複数の生成AIへ同時送信し、各モデルの回答を一つの画面上で並べて比較できるChrome拡張である。
• 複数モデルの比較は、事実確認で誤答や情報不足を見つけ、単独モデルの回答をそのまま採用するリスクを下げるための判断材料になる。
• モデルの適性は、質問の種類によって変わるため、GPT-4だけに固定せず、GeminiやClaudeなどへ同じ指示を送り、実際の出力で判断する必要がある。
• 長い文字起こしから記事を作る実演では、GPT-4、Claude 3、Gemini 1.5 Proで文章量や具体性が異なり、比較によって用途との相性が見えた。
• 複数の回答を同時生成する方法は、Excelマクロのエラー解決や企画案の作成で候補を増やし、理解できる案から試す作業を進めやすくする。
• 同一モデルへの並列送信は、同じプロンプトでも回答が変化する性質を確認し、業務用プロンプトが安定して期待する結果を出せるか検証する方法である。
• 無料プランは2つのチャットボットを比較でき、紹介時点のプレミアムでは3、4、6画面へ拡張できるため、必要な比較数に応じて選択できる。
• API経由で同じGPT-4を独立して比較するには、APIキーを設定したうえでカスタムチャットボットを追加し、別々のリクエストとして送る必要がある。
• 🎬 このチャンネルの他の動画:
  • 組織にChatGPTを定着させる方法は？
  • ChatGPT活用サービス5分野とは？
  • Microsoft Teamsの基本操作を覚える方法
• 📺 このチャンネル: いけともch

Questions & Answers

Q: ChatHubで複数のLLMを比較する方法は？

Chrome拡張のChatHubを追加し、ChatGPT、Gemini、Claudeなど使用したいサービスへ同じブラウザーでログインします。次に2、3、4、6画面から構成を選び、各枠へ比較対象のAIを設定して共通の入力欄からプロンプトを送信すると、回答が並列表示されます。無料プランでは2画面まで利用できます。

Q: ChatHubとは何ですか？

ChatHubは、さまざまな生成AIへ同じプロンプトを同時に送信し、回答を並べて比較できるツールです。動画ではChrome拡張として紹介され、ChatGPT、Gemini、Claude、Bing Copilot、Perplexity、Llama 3、Mistral、Piなどの選択肢が示されています。利用可能なAIは、アカウント、API設定、契約プランによって異なります。

Q: なぜ複数のLLMを同時に比較する必要があるのですか？

質問や作業によって、精度の高いモデルや使いやすい回答形式が異なるからです。動画では、日本三景への回答でGPT-3.5に誤りが生じた例や、観光地の提案でGeminiが追加質問を返した例が示されています。ただし、複数の回答が一致しても正しさは保証されないため、比較結果は検証材料として扱う必要があります。

Q: ChatHubはどのような作業に向いていますか？

複数モデルの品質比較、多数の回答候補の収集、同一モデルの安定性検証に向いています。具体例として、YouTubeの文字起こしからの記事作成、生成AIの業務活用案の列挙、音楽生成AI向けの歌詞作成、Excelマクロのエラー解決が紹介されています。正解が一つに決まらない企画や文章作成にも利用できます。

Q: 同じLLMを複数画面で比較する方法は？

同一モデルへ独立したリクエストを送れるように、API設定とカスタムチャットボットを用意します。動画では、OpenAIのAPIキーをChatHubへ保存し、GPT-4 Turboを使う別のカスタムボットを追加する手順が示されています。同じ選択肢を単純に複数画面へ置くだけでは同一結果が表示される場合があるため、別設定が必要です。

Q: 同じモデルの回答の揺れを検証する方法は？

同一モデルを2つの独立した枠へ設定し、まったく同じプロンプトを同時に送って出力を比較します。初回は成功しても次回は期待どおりにならない場合があるため、複数回の結果から構成、内容、指示への従い方が安定しているかを確認します。動画では、温度を0にしてランダム性を抑える設定例も紹介されています。

Q: ChatHubの無料版と有料版の違いは何ですか？

無料プランでは2つのチャットボットを同時に比較でき、有料のプレミアムでは最大6つまで画面を増やせます。動画の紹介時点ではプレミアムは買い切り39ドルと訂正され、APIキーとAPI利用料は利用者側で用意する方式です。月額19ドルのプレミアム＋AIは、APIキーを使わずに各AIを利用できる枠を含むと説明されています。

Q: ChatHubでAPIを利用するにはどう設定しますか？

対象サービスのAPIページでシークレットキーを作成し、その文字列をChatHubの設定画面へ保存します。その後、使用するモデルを選び、必要ならシステムメッセージや温度設定を指定します。APIアクセスには従量課金が発生するため、プレミアムで自分のキーを使う場合と、利用枠を含むプレミアム＋AIの違いを確認して選びます。

Q: 長文の記事作成ではどのLLMを選べばよいですか？

同じ文字起こしと作成条件を複数モデルへ送り、文章量、具体性、構成、読みやすさを実際の出力で比較して選びます。動画の実演では、GPT-4は比較的短く、Claude 3はより具体的で長く、Gemini 1.5 Proはさらに長い記事を生成しました。これは一つの実演結果であり、常に同じ優劣になるとは示されていません。

Summary & Key Takeaways

• ChatHubは、同じプロンプトをChatGPT、Gemini、Claude、Bing Copilotなどへ同時に送り、回答を並べて確認できるツールです。動画内では、日本三景に関する事実確認や2023年の日本の出生者数に関する質問を使い、モデルによる誤答、情報の新しさ、回答方針の違いを比較しています。回答が一致しただけで正しいと断定せず、信頼性を判断する材料として使う方法が示されています。

• 主な用途は3つです。第一は、文章作成やアイデア生成で複数モデルの品質を比べ、業務に適したモデルを選ぶことです。第二は、Excelマクロのエラー修正やキャッチコピー作成などで異なる解決案を同時に集め、順番に試すことです。第三は、同じGPT-4などへ同一プロンプトを複数回送り、出力が安定するか、回答がどの程度ばらつくかを検証することです。

• 導入時はChrome拡張を追加し、使用するAIサービスへ同じブラウザーでログインします。無料プランは2画面まで、紹介時点のプレミアムは最大6画面で、動画では買い切り39ドルと説明されています。API利用では自分のAPIキーと従量課金が必要で、月額19ドルのプレミアム＋AIには利用枠が含まれます。履歴、会話の消去、プロンプトライブラリー、カスタムボットも利用できます。