Codexアプリの新機能を使いこなす方法

TL;DR

Codexアプリでは、Appshotsで画面情報を渡し、サイドパネルでターミナルやブラウザを併用し、/goalで長時間タスクを継続できる。ブラウザ上の要素へ直接修正を指示できるほか、設定次第でMacのロック中にもcomputer useを動かせる。

Transcript

おすマサです。本日はですね、コデックス に便利な機能がいくつか登場してますんで 、え、これについて解説していきたいと 思います。最近ね、ま、このOPENA のコデxに関しては、ま、非常にですね、 勢いがあって、ま、結構クロードから もコデックスを使うようになりましたと いうね、え、人が増えてるんじゃないかな と思いますけど、ま、実際のところ僕も ですね、身内ちにとりあえず、まあ 5000円ぐらいね、予算があるんだけど 、AIでなんか勉強したら何がいいですか て言われると、ま、クロードをね、お勧め するにはやっぱあの100ドル、 200ドルのマックスプランで、え、 オーパスモデルを使って欲しいっていう ところはあったりするんで、ま、基本をね 、お勧めするようにしています。さらには やっぱりね、... Read More

Key Insights

• Appshotsは、表示中の画面を画像として送るだけでなく、対応するアプリから取得したテキストなどの構造化情報もCodexへコンテキストとして渡せる機能である。
• Macで紹介されたAppshotsの操作は、左右のCommandキーを同時に押して画面情報を取り込み、Codexアプリを開いた状態から質問や作業指示を続ける方法である。
• サイドパネルは、ターミナル、ブラウザ、サイドチャットを選択して表示でき、複数の会話や開発中の画面、コマンド操作をCodexアプリ内へ集約する仕組みである。
• /goalは、指定した目標へ到達するまで作業を継続させる長時間タスク向けの機能であり、アプリの作成からデモの準備や品質の磨き込みまで任せる用途が示されている。
• /goalの品質は、達成条件を具体化し、難しいが満たせば品質向上につながる基準を置き、必要に応じてサブエージェントのレビューを挟むことで管理しやすくなる。
• アプリ内ブラウザのアノテーションは、変更対象の画面要素を直接指定し、色、背景、チェックボックス、プレースホルダーなどの修正内容をCodexへ送信できる機能である。
• ロック中のcomputer useは、設定画面で使用を許可するとMacがロックされた状態でもCodexに作業を続けさせられ、無人に近い運用へ利用できる機能である。
• 話者の使い分けでは、一般的なアプリ作成やAIエージェント活用にはCodexを勧め、より深いハーネス開発ではClaudeも有力な選択肢として併用している。
• 🎬 このチャンネルの他の動画:
  • Agent Skillsを買うか自作するかの判断方法
  • DeepSeek Harnessとは何か？
  • Fable 5時代のAI開発にどう備えるか
• 📺 このチャンネル: まさおAIじっくり解説ch

Questions & Answers

Q: Appshotsで画面情報をCodexへ渡す方法は？

紹介されたMacでの方法は、対象画面を表示して左右のCommandキーを同時に押し、取得したコンテキストをCodexアプリへ渡す手順である。対応するアプリではスクリーンショットだけでなく、テキストなどの構造化情報も共有されるため、画面の内容について質問し、そのまま作業を進められる。

Q: Appshotsと通常のスクリーンショット共有の違いは何ですか？

Appshotsの違いは、画像だけを渡す機能ではなく、連携するアプリに応じてテキストなどの構造化されたコンテキストもCodexへ共有できる点である。動画では「テキストを表示」を選ぶと、取得した情報を構造化データとして確認でき、画面内容を踏まえた指示につなげられる様子が紹介されている。

Q: Codexのサイドパネルでは何ができますか？

サイドパネルでは、ターミナル、ブラウザ、サイドチャットを切り替えながら作業できる。サイドチャットには複数のチャット画面を持たせられ、ブラウザには作成中のToDoリストなどを表示できるほか、ターミナルからClaudeや別のCLIツールを呼び出す使い方も示されている。

Q: Codexの/goalコマンドを使う方法は？

/goalでは、作成したい成果物と到達してほしい状態を目標として送信し、その目標へ達するまで作業を継続させる。動画では、アプリを作ってデモまで準備することや、成果をさらに磨き込むことが例示されており、短い単発指示よりもロングランタスクへ向く機能として説明されている。

Q: /goalで成果物の品質を高める方法は？

品質を高めるには、目標だけでなく、達成を判断する細かな基準とレビュー工程を設定する。話者は、クリアするのは難しくても満たせば品質向上につながる条件を置き、サブエージェントのレビューを挟むことで、実行中のメインエージェントが自己評価だけで完了を判断する状況を防ぐことが重要だと述べている。

Q: アプリ内ブラウザで画面修正を指示する方法は？

アプリ内ブラウザでは、アノテーション機能で修正したい画面要素を選び、変更内容を添えてCodexへ送信する。動画では、要素の色や背景を変える、チェックボックスへチェックを入れる、プレースホルダーへSVGに関する指示を付けるといった例が示され、対象箇所と依頼内容を結び付けて更新できる。

Q: Macのロック中にCodexを動かす方法は？

設定内のcomputer use項目で、Macのロック中にも使用できる機能を有効にする。これにより、端末をロックした状態でもCodexへ作業を続けさせられる。動画では、複数のMac miniへ仕事を割り当て、アプリ作成後にスクリーンショットを集め、成果物をレポートとして共有させる運用が紹介されている。

Q: CodexとClaudeはどのように使い分ければよいですか？

話者の使い分けでは、一般的なアプリ作成、個人向けのCLIやデスクトップアプリ、日常的なAIエージェント作業にはCodexを用いる。一方、エージェントのハーネスを深く掘り下げ、コードをより高品質かつ長時間動かす仕組みへ発展させる場面では、Claudeも有力な選択肢として組み合わせている。

Q: Codexアプリは初心者のアプリ開発に向いていますか？

話者は、CodexアプリのシンプルなUIと操作感により、初心者でも画面をたどりながらアプリ作成や日常的なエージェント作業を進めやすいと評価している。ただし、これは動画内の利用経験に基づく見解であり、すべての初心者に同じ結果を保証する比較検証は示されていない。

Q: Codexへ長時間の開発作業を任せる運用方法は？

長時間の開発では、Codexアプリを起動した端末へ成果物、完了条件、提出形式をまとめて指示し、必要なら/goalとロック中のcomputer useを組み合わせる。動画では、アプリを完成させ、作業結果のスクリーンショットを複数取得し、それらを一つのレポートへまとめて共有させる具体的な運用が紹介されている。

Summary & Key Takeaways

• 画面を起点に作業する場合は、Appshotsで対象アプリの表示内容をCodexへ渡す。単なる画像だけでなく、対応するアプリではテキストなどの構造化されたコンテキストも共有できるため、画面について質問したり、表示内容を基に作業を始めたりしやすい。Macでは左右のCommandキーを同時に押す操作が紹介されており、Codexアプリを開いて、そのまま指示を続けられる。

• 作業環境はサイドパネルによって一つの画面へまとめられる。ターミナル、ブラウザ、サイドチャットを切り替えられ、複数チャットの保持、作成中アプリの表示、別のCLIツールの呼び出しが可能である。アプリ内ブラウザでは画面要素に注釈を付け、背景色、チェックボックス、プレースホルダーなどの具体的な変更を対象箇所と結び付けて送信できる。

• 長時間の開発には/goalを使い、達成したい成果と品質基準を明示する。話者は、メインエージェントの自己評価だけに頼らず、細かな判定基準やサブエージェントによるレビューを挟むことが重要だと述べている。Macのロック中にもcomputer useを許可する設定を組み合わせれば、別のMac miniなどに作業を任せ、スクリーンショットを含む成果物やレポートを受け取る運用もできる。