OpenAI Operatorでブラウザ操作する方法

TL;DR

OpenAI Operatorは、自然言語で依頼するとブラウザ上の検索、商品選定、予約画面への入力、投稿などを自動実行する。実演では画像からの商品特定や掲示板投稿に成功した一方、複雑な調査では処理が終わらず、商品数や文字を誤る場面もあったため、人による確認と操作の引き継ぎが必要である。

Transcript

はいこんにちはケトですこのチャンネルは 生生愛の最新情報や活用事例を紹介して ます是非チャンネル登録などお願いいたし ますそして今回のテーマはオープンAI オペレーター爆弾実際に使っていくつか 検証してみたになりますいよいよですね OpenAIにAIエージェントの機能が 付いてきましてその名前がオペレーターと いうサービスですこれはですね めちゃくちゃすごいですよ実際に僕も使っ てみたんですけどやばかったですまた 後ほど詳しく解説はするんですけどどう いうことができるかというとブラウザーを 勝手に操作してくれて買い物をしてくれ たり予約をしてくれたりえあとは調べ物を してくれたりっていうことを自動的にやっ てくれるAIエージェントの仕組みになっ てますはいそんなオープンAI オペレーターを今... Read More

Key Insights

• Operatorは、自然言語で与えられたタスクをWebブラウザ上で自律的に実行し、検索、予約、購入候補の選定、入力作業まで進めるAIシステムである。
• 操作の仕組みは、スクリーンショットの解析、次の行動の計画、マウスとキーボードの操作、画面更新を繰り返すループで構成されている。
• 認証が必要な場面では、利用者が「テイクコントロール」でブラウザを引き継ぎ、ログインや認証コードの入力を終えてからOperatorへ戻せる。
• 画像から商品を探す検証は、Google画像検索へ画像をアップロードし、同じカメラの在庫があるAmazonの商品ページを特定してリンクを返す形で成功した。
• 条件付きのX投稿収集は、未ログイン状態では複数の検索方法を試し続け、約30分経過しても20件を収集できず、実用的ではないとして停止された。
• Amazonの商品選定は、携帯充電器をカートへ追加できた一方、価格帯を分けた3候補という指示に対して5商品を追加し、指定数を守れなかった。
• レストラン予約の検証は、渋谷、3人、予算3万円、完全個室という条件から店舗を探し、空席のある21時を選んでメールアドレス入力画面まで進めた。
• 安全面では、有害タスクの拒否、不適切なWebサイトへのアクセス制限、誤操作時のユーザー確認、プロンプトインジェクション防止機能が説明欄で示されている。

Questions & Answers

Q: OpenAI Operatorとは何ですか？

OpenAI Operatorは、ユーザーが自然言語で依頼したタスクをWebブラウザ上で自律的に実行するAIシステムである。検索や商品選定、予約画面への入力、メール送信、Webサイトへの投稿などを進められるが、ログインや個人情報の入力では利用者の操作が必要になる場合がある。

Q: OpenAI Operatorはどのようにブラウザを操作しますか？

Operatorは、ブラウザ画面のスクリーンショットを解析し、次のアクションを計画して、マウスやキーボードを操作する。その後に更新されたスクリーンショットを再び確認し、この処理を繰り返してタスクを進める。説明欄では基盤モデルがGPT-4oに訂正されている。

Q: OpenAI Operatorに作業を依頼する方法は？

Operatorの専用画面を開き、実行してほしい内容を自然な言葉で入力すれば作業を開始できる。たとえば出発地、目的地、日付を指定して航空券を探したり、用途や価格帯を示して商品候補をカートへ追加したりできる。ただし、結果は利用者が確認する必要がある。

Q: OpenAI Operatorでログインや認証を行う方法は？

ログインや認証を求められたら、「テイクコントロール」でOperatorのブラウザ操作を利用者側へ切り替える。利用者がアカウント情報や認証コードを入力した後、現在の状況を伝えて操作をOperatorへ戻すと、その続きからメール作成や投稿などを進められる。

Q: OpenAI Operatorで商品を探してカートに入れられますか？

商品検索とカートへの追加は可能だったが、指示どおりに完了するとは限らない。実演では、キャンプで8時間以上使えそうなiPhone用充電器を価格帯別に3つ選ぶよう依頼したものの、最終的に5商品が追加された。購入前には商品数、価格、性能を確認すべきである。

Q: OpenAI Operatorは画像から同じ商品を探せますか？

画像を使った商品特定は、実演では成功した。キヤノンのカメラ画像を渡して同じ商品を探すよう依頼すると、OperatorはGoogle画像検索へ画像をアップロードし、Amazonで在庫のある商品ページを見つけてリンクを返した。この検証はほかの例より短時間で完了した。

Q: OpenAI Operatorでレストランを探して予約できますか？

条件に合う店舗を探し、予約確認画面まで進めることはできた。実演では、東京の渋谷、3人、予算3万円、落ち着いた雰囲気、完全個室という条件から店舗を検索し、20時が満席だったため21時を選択した。メールアドレス入力前で停止し、予約自体は確定していない。

Q: OpenAI Operatorが苦手な作業は何ですか？

ログイン制限があるサイトでの大量調査や、厳密な件数指定を伴う複雑な作業では問題が見られた。未ログインのXから「いいね」が100件を超える生成AI関連投稿を20件集める依頼は、約30分経過しても終わらなかった。試行を繰り返し続ける場合は、人が停止を判断する必要がある。

Summary & Key Takeaways

• Operatorは、ユーザーの指示を受けてWebブラウザを自律操作するAIシステムである。GPT-4oを基盤とするコンピューターユージングエージェントが、画面のスクリーンショットを解析し、操作を計画して、マウスやキーボードを動かす。更新された画面を再び解析するループにより、検索、購入候補の選定、予約手続き、フォーム入力などを進める。

• 基本操作は、専用画面へ自然な言葉で依頼を入力するだけである。実演では、航空券の検索、Amazonでの充電器選定、画像検索によるカメラの特定、渋谷の完全個室レストラン探し、掲示板への質問と回答の投稿、Gmailでの営業メール送信、Xへの投稿が試された。ログイン、認証、個人情報の入力などでは、利用者がブラウザ操作を引き継いだ。

• 検証結果には明確な得意不得意があった。画像から同じ商品を探す作業や、条件に合う飲食店を探して予約確認画面まで進む作業は比較的円滑だった。一方、ログインせずにXから条件付き投稿を20件集める依頼は30分ほど経っても完了せず、Amazonでは3商品という指定に対して5商品をカートへ追加した。重要な操作では結果を確認し、必要なら停止や修正を行う運用が欠かせない。