ChatGPT o1 pro modeは課金すべきか

TL;DR

月額200ドル、約3万円のo1 pro modeは、長文の指示理解や要約、推論、プログラミング、画像識別で高品質な結果を示したが、一般利用者が直ちに課金するほどの価格差は感じにくい。無制限の高度な音声モードを頻繁に使う人や、高度な処理を仕事で活用する人には検討余地がある。

Transcript

はいこんにちはケトですこのチャンネルは 生生アの最新情報や活用事例を紹介して ます是非チャンネル登録などお願いいたし ますそして今回のテーマは月額3万円 ChatGPTO1Proモード徹底検証 ですえ現状の感想と課金すべきかどうかを ですね最終的にお伝えしていきたいと思い ますはいということで今回検証してくのは ですねこんな感じですねえ計算推論 ウェブサイト一般的な質問説明能力 プロンプトを考えてもらえ長文プロンプト 長文要約物語プログミング画像の識別この 辺がですねどんな感じになってくのかを ですね見ていきたいと思いますえそして 今回紹介するO1Proモードドってやつ はいこれはですねどんな機能えどんな モードかと言いますと簡単に言うとチット GPTの最上モデル高額プランになって ますえ月... Read More

Key Insights

• o1 pro modeは月額200ドル、約3万円の高額プランであり、o1モデルと高度な音声モードを無制限で使える点が主要な特徴として紹介された。
• 検証時点のo1 pro modeはWeb検索、画像生成、PDF、PowerPoint、Excelのアップロードに未対応で、画像の添付と解析には対応していた。
• 数学性能は難問でも完全ではなく、東京大学の過去問を使った検証では一部の答えが合った一方、別の問題では最終回答を誤った。
• 推論性能はインターネット上の問題で良好な結果を示し、売上が毎月20％増えても2カ月で40％増とはならない問題にも正しく回答した。
• 長文指示への追従性は高く、SEO用ディスクリプションの生成では、多数の条件を無視せず、指定された文字数に近い文章を出力した。
• 長文要約は大量の事業資料から特徴や投資上の利点と欠点を簡潔に抽出し、話者が内容を確認できる範囲では大きな誤りがなかった。
• プログラミングでは売上と経費の集計、定時メール送信、画像のモザイク処理を行うコードが生成され、検証ではコピーだけでエラーなく動作した。
• 課金判断では品質向上だけで価格差を正当化しにくい一方、高度な音声モードを長時間使う人には、無制限利用が明確な利点になると評価された。

Questions & Answers

Q: ChatGPT o1 pro modeに課金すべきですか？

一般利用だけなら、すぐに月額200ドル、約3万円を支払う必要性は低いというのが話者の結論です。回答品質や長文処理の改善は確認されたものの、従来の月額20ドルから10倍になった価格差ほどの変化は実感できませんでした。ただし、高度な音声モードを頻繁に使う人や、高度な推論やコード生成を仕事で活用する人には検討余地があります。

Q: o1 pro modeでは何が無制限で使えますか？

o1モデルと高度な音声モードが無制限で使えると紹介されています。特に高度な音声モードは、従来のように何度か会話すると上限へ達する心配が減るため、海外で一日中翻訳を続けたい場合などに役立つと評価されました。画像解析も利用できますが、無制限であると明示された中心機能はo1モデルと高度な音声モードです。

Q: o1 pro modeで利用できない機能は何ですか？

検証時点ではWeb検索、画像生成、PDF、PowerPoint、Excelなどの文書アップロードを利用できませんでした。そのため、リアルタイムの天気を尋ねても情報へアクセスできないと回答され、千葉の天気を直接取得することはできませんでした。一方で画像はアップロードでき、写っている動物の識別やスクリーンショットを基にしたコーディングに利用できました。

Q: o1 pro modeの数学と推論の精度は高いですか？

一般的な推論問題では高い精度を示しましたが、難しい数学問題では誤答もありました。インターネット上の推論問題には正しく回答し、毎月20％増加する売上を2カ月で40％増とする推論も誤りだと判断しました。一方、東京大学の過去問を使った検証では一部だけ正解した例や、最終回答が間違っていた例があり、常に正しいとは限りません。

Q: o1 pro modeは長いプロンプトにも正確に従いますか？

長いプロンプトでも条件を省略しにくく、指定への追従性は高いと評価されました。SEO用ディスクリプションを5個作る課題では、複数の条件を踏まえながら、指定された190文字に近い文章を生成しました。話者は、従来のChatGPTで感じることがあった指示の無視が減り、長い指示でも処理を省略しない印象があると述べています。

Q: o1 pro modeは長文要約に向いていますか？

大量の文章を短く整理する用途には向いていると評価されました。新規事業の概要、目的、経緯、質問、契約内容などをまとめて入力したところ、プロジェクトの特徴と投資上の利点や欠点を数行で抽出しました。話者自身が関係する事業だったため内容を確認でき、その範囲では大きな間違いがなく、情報を過剰に並べず簡潔にまとめていたとされています。

Q: o1 pro modeで実用的なプログラムを作れますか？

検証では、実用的な小規模プログラムを一度のコード生成で作成できました。売上と経費を別シートから集計してダッシュボードへ表示し、毎朝メールで送るGoogle Apps Scriptは、生成コードのコピーだけで動作しました。Google Colaboratory上で画像をアップロードし、ボタン操作でモザイクを適用する画面も、エラーなく作れたと報告されています。

Q: o1 pro modeの画像識別能力はどの程度ですか？

画像内の対象を識別するだけでなく、質問の意図を踏まえた説明もできました。家猫とチーターの画像では、左が通常いう猫、右がチーターであり、両方ともネコ科だと説明しました。また、周囲に擬態したヒラメまたはカレイ、リーフテールゲッコー、イモムシ、コハムシも識別できたとされ、視認しにくい生物画像でも良好な結果を示しました。

Summary & Key Takeaways

• o1 pro modeはChatGPTの高額な最上位モデルとして紹介され、月額200ドル、約3万円で利用できる。検証時点では画像解析、o1モデル、高度な音声モードに対応し、約20万トークンの文脈を扱えるとされた。一方、Web検索、画像生成、PDFやPowerPoint、Excelなどの文書アップロードには対応しておらず、回答速度もかなり遅いという制約が確認された。

• 検証では、一般的な推論問題は正解したものの、東京大学の過去問を使った数学問題では一部に誤答があり、専門知識のない利用者には性能差の評価も難しかった。長い指示では条件や文字数をよく守り、大量の事業資料も簡潔に要約した。スクリーンショットからのWeb制作、Google Apps Script、画像モザイク処理では、出力コードをコピーするだけで動作したと報告された。

• 総合評価は、回答品質や長文処理、画像識別、プログラミングの精度には改善が感じられる一方、従来の月額20ドルから200ドルへの価格差に見合うほどの違いは実感しにくいというものだった。特に価値があるとされたのは、高度な音声モードを無制限で使える点である。海外で継続的に翻訳へ利用する人など、明確な用途がある場合に課金を検討するのが妥当とされた。