Codex AppでPC操作を自動化する方法

TL;DR

Codex Appでは、スクリーンショットと座標指定を使ってデスクトップアプリを操作し、ファイル作成や保存まで自動化できる。画像生成、要素へのコメント、内部ブラウザ、ターミナル、過去スレッドの再利用も統合され、開発と周辺作業を一つの環境で継続できる。

Transcript

オスマソです。本日はですね、OPAI からコデxのアプリ、これが大規模 アップデートになりましたんで、これに ついてお話していきたいと思います。え、 クロドのね、OPS4.7登場して、ま、 その裏ではですね、OPENAirから はコデxのアプリがね、え、非常に大きな アップデートになっていて、これもね、 コンピューターユースとか、あの、画像の ね、え、生成がコードデックス中から できるようになったりだとか、ま、非常に ですね、魅力的なアップデートになって ましたんで、皆さんにも共有していきたい と思います。え、やっぱりね、 コンピューターユースができてしまうとも 何でもできるじゃんみたいな形でね、 クロードも、え、コンピューターユース 機能登場しましたけど、僕はね、 このコーデックスの機能の... Read More

Key Insights

• コンピューターユースは、スクリーンショットで画面を確認し、座標を指定してクリックすることで、デスクトップアプリ上の操作と問題解決を自動化する仕組みである。
• Codex Appは、コードを書く作業だけでなく、調査、確認、修正、接続、進捗追跡といった開発周辺のコストまで減らす方向へ役割を広げた環境である。
• 開発ワークフロー統合は、プルリクエスト対応、複数ターミナル、SSH接続、PDFやスプレッドシートの閲覧などを一つの場所で扱える設計である。
• 過去スレッドの再利用は、これまでの会話で蓄積したコンテキストを維持したまま、単発ではなく継続的な作業へ移行できる機能である。
• 90を超える新しいプラグインは、複数の機能やサービスを組み合わせ、Codex Appがエージェントとして処理できる問題の範囲を広げる要素である。
• GPT Image 1.5の統合は、Codex App内で素材画像を生成し、その画像を使いながらランディングページなどのUI制作を進められる仕組みである。
• デザインコメント機能は、index.htmlなどのファイルを開いて画面上の要素を選択し、その箇所に対する修正指示を直接渡せる機能である。
• MCP経由のコンピューターユースは、デスクトップアプリ内だけでなくCodex CLIからも利用でき、別の開発ツールと組み合わせた操作も可能である。
• 🎬 このチャンネルの他の動画:
  • Claude Sonnet 5はどんな用途に向くのか
  • Claude Codeスキルを正しく設計する方法
  • Gemini 3.7 Flashは何に向くのか？
• 📺 このチャンネル: まさおAIじっくり解説ch

Questions & Answers

Q: Codex Appでパソコン操作を自動化する方法は？

コンピューターユースを使い、操作したいアプリと実行内容をCodexへ指示します。Codexはスクリーンショットで画面状態を確認し、座標を指定してボタンや入力欄を操作します。実演ではWindSurfを開き、新規HTMLファイルへ内容を書き込み、保存するところまで自動で進めました。

Q: Codex Appのコンピューターユースとは何ですか？

コンピューターユースとは、Codexが画面を見ながらクリックや入力を行い、デスクトップアプリを操作する機能です。動画ではスクリーンショットと座標指定を用いる仕組みとして説明され、ファイル作成や保存、メール返信などの作業例が紹介されています。

Q: Codex AppでHTMLファイルを自動作成する方法は？

対象の開発アプリを開くよう指示し、新しいHTMLファイルの作成と記述内容を依頼します。動画の実演では、CodexがWindSurfを操作して新規ファイルを作り、HTMLを書き込み、保存操作まで実行しました。生成内容は依頼次第ですが、画面操作を含む一連の工程を任せられます。

Q: Codex Appで画像を生成してUI制作に使う方法は？

対話画面から画像生成を依頼し、GPT Image 1.5で作成された画像をUIの素材として利用します。動画ではサウナのランディングページを例に、画像を生成して制作へ組み込む流れが紹介されました。画像生成とコード作業を同じCodex App内で進められる点が特徴です。

Q: Codex Appで画面上の要素に修正指示を出す方法は？

サイドバーからindex.htmlなどの対象ファイルを選び、表示された画面上の要素を選択してコメントを渡します。さらにスクリーンショットを利用すれば、修正対象を視覚的に伝えやすくなります。内部ブラウザから修正を依頼できるため、表示確認と指示を同じ環境で進められます。

Q: Codex Appで過去の作業を継続する方法は？

既存の会話スレッドを再利用し、過去に蓄積したコンテキストを維持した状態で作業を続けます。これにより、毎回前提を最初から説明する単発支援ではなく、以前の相談や変更内容を踏まえた継続作業が可能になります。動画ではコンテキストの取り回しを重視した更新として紹介されています。

Q: Codex Appは開発ワークフローの何を統合できますか？

プルリクエストのレビュー対応、複数ターミナル、SSHによるリモートデバッグ、PDFやスプレッドシート、ドキュメントの閲覧、内部ブラウザなどを統合できます。コード作成だけでなく、調査、確認、修正、接続、追跡といった周辺作業も一つの場所で回す設計だと説明されています。

Q: Codex CLIからコンピューターユースを使う方法は？

MCP経由でコンピューターユースへ接続すれば、Codex AppだけでなくCodex CLIからも利用できます。話者はターミナル側から実際に試し、画面操作を実行できたと報告しています。また、Claude CodeからCodexへコンピューターユースを使わせる依頼にも対応したと述べています。

Summary & Key Takeaways

• Codex Appは、コード生成を中心とした支援から、画面操作を伴うエージェント型の作業環境へ拡張された。スクリーンショットを確認し、座標を指定してクリックするコンピューターユースにより、Mac上のアプリやWindSurfを操作し、HTMLファイルの作成と保存まで進められる。

• 開発ワークフローでは、プルリクエストのレビュー対応、複数ターミナル、SSHによるリモートデバッグ、PDFやスプレッドシート、ドキュメントの閲覧、内部ブラウザなどを一つのアプリ内で扱える。過去の会話スレッドも再利用でき、蓄積したコンテキストを保ちながら継続作業を進められる。

• 制作面では、GPT Image 1.5による画像生成、HTML要素を選択したコメント指示、スクリーンショットを使った修正依頼が紹介された。サウナのランディングページ制作では生成画像を素材として利用し、別の実演ではWindSurfを自動操作してHTMLを作成した。危険な操作には制限がかかる可能性も示唆された。