OpenAI CodexでPC操作を自動化する方法

TL;DR

CodexのComputer useを有効にすると、ブラウザやデスクトップアプリをAI専用カーソルで操作し、録画、スクリーンショット取得、資料作成まで連携できる。操作マニュアル動画や実画面入りスライドの作成を自動化でき、音声入力も任意のアプリで利用可能になる。

Transcript

はい、こんにちは。ゲートです。この チャンネルは生成の最新情報や活用事例を 紹介してます。是非チャンネル登録お願い いたします。そして今回のテーマは CEXっていうですね、OpenAI のチャットGPTとは違うGPTのモデル が組み込まれたAIチャットアプリがある んですけど、ま、チャットアリっていうか なんかコーディングアシストアプリですね 。このCEXで使うコンピューターユーズ PC操作の機能がめちゃくちゃパワー アップしているっていうことですごく気に なったので、え、今回はですね、実際に 検証しつつ、ま、こういう活用の仕方が あるんじゃないのかっていう紹介をですね 、していきたいと思います。そしてですね 、先日、え、GPTのモデルが5.5に ですね、マイナーアップデートされたわけ なん... Read More

Key Insights

• ・Computer useは、Codexの設定で「コンピューターを使用」をオンにし、入力欄のプラグインから選択することで利用できるPC操作機能である。
• ・AI専用カーソルは人間が操作するカーソルとは別に表示され、Codexの操作内容と作業の進行を画面上で把握しやすくする仕組みである。
• ・ブラウザ操作は、ChatGPTへの指示入力、画像生成、ゲーム作成、完成後のプレイ確認まで、一連の工程としてCodexに実行させられる。
• ・資料デザインは、画像生成で先に完成イメージを作り、その表現をPowerPointの図形として再現させることで編集可能な状態にできる。
• ・マニュアル動画は、対象サービスの操作、OBSなどでの録画、停止部分のカット、完成通知までを細かく指示することで作成できる。
• ・スクリーンショット付き資料は、Codexに実画面を操作させ、各工程を撮影してから資料作成スキルへ組み込むことで自動生成できる。
• ・WordPressの操作実演は、ニュースの新規追加、本文入力、カテゴリー設定、画像選択、下書き保存といった工程まで実行可能である。
• ・音声入力機能は、設定したホットキーから呼び出せてCodex以外のアプリでも使えるが、現状では辞書登録やシステムプロンプト設定には対応していない。

Questions & Answers

Q: CodexでPC操作を自動化する方法は？

Codexの設定画面で「コンピューターを使用」をオンにし、入力欄のプラスマークからプラグインを開いてComputer useを選択する。その後、操作対象のブラウザやアプリ、実行する作業、終了条件を具体的に伝えると、AI専用カーソルで操作を進められる。

Q: CodexのComputer useとは何ですか？

Computer useは、Codexがブラウザやデスクトップアプリを人間のように操作する機能である。クリックや文字入力だけでなく、スクリーンショットの保存、OBSの録画開始と停止、WordPressの編集など、複数アプリをまたぐ作業にも利用できる。

Q: CodexのAI専用カーソルにはどんな利点がありますか？

AI専用カーソルは、ユーザー自身のカーソルとは別に表示されるため、Codexがどこを操作しているかを視覚的に確認できる。ユーザーは自分のカーソルで別作業を進めながら、AIが実行中の工程や次に行おうとしている操作を把握できる。

Q: Codexで操作マニュアル動画を作る方法は？

最初に対象サービスの操作手順をCodexに確認させ、録画対象の画面を指定する。続いてOBSなどの録画を開始させ、必要な入力やクリックを順番に実行させる。操作後に録画を停止し、カーソルが動かない場面などをカットするよう指示すれば、説明用動画まで作成できる。

Q: 実画面入りのPowerPoint資料を作成する方法は？

Computer useで説明対象のサービスを実際に操作させ、重要な工程ごとにスクリーンショットを保存させる。その画像と操作内容を資料作成スキルへ渡し、各ステップの説明とともにPowerPointへ配置するよう指示すると、実際の画面を含む手順資料を作成できる。

Q: CodexでPowerPointのデザインを改善する方法は？

作りたいデザインのスタイルを指定し、最初に画像生成で完成イメージを作らせる。その画像をデザインの基準としてPowerPointを生成させれば、配色や図形の構成をそろえやすい。検証では、バウハウス風の表現が背景画像ではなく編集可能な図形で再現された。

Q: Codexの音声入力を他のアプリで使う方法は？

Codexの一般設定にある音声入力のホットキーへ任意のショートカットキーを登録し、そのキーを長押しして音声入力を開始する。この機能はCodex内だけに限定されず、パソコン上のさまざまなアプリで利用でき、入力内容の履歴も残せる。

Q: CodexのComputer useにはどんな課題がありますか？

操作中にカーソルが止まる場面や、生成したスライド内でスクリーンショットの配置がずれる場面がある。また、キーボード操作が選ばれるとカーソルの動きが録画に表れにくい。音声入力も辞書登録やシステムプロンプト設定には未対応で、細かな調整が必要である。

Summary & Key Takeaways

• Codexの設定で「コンピューターを使用」をオンにし、プラグインからComputer useを選ぶと、開いているブラウザやデスクトップアプリを操作できる。AI専用カーソルが人間のカーソルとは別に表示されるため、処理内容や進行状況を確認しやすく、ユーザーは別の作業を並行して進められる。

• Computer useとOBS、動画編集スキルを組み合わせると、WordPressなどの操作手順を実演しながら録画し、停止時間をカットしたマニュアル動画を作成できる。さらに、各工程でスクリーンショットを取得し、既存の資料作成スキルに渡せば、実際の画面を掲載した説明用PowerPointも生成できる。

• GPT-5.5への更新後は、ゲーム開発やデザイン表現の品質向上も確認された。画像生成で作ったバウハウス風のデザインをPowerPoint上の図形として再現したほか、既存サイトを参考にした別スタイルのWebサイトも作成できた。音声入力はホットキーで呼び出せるが、辞書登録などには未対応である。