Codexで画面操作を再現可能なスキルにする方法

TL;DR

CodexのRecord & Replayを使うと、画面操作を録画し、記録されたイベントから繰り返し実行できるスキルを作成できる。生成後は手順をテキストで微調整でき、新しいスレッドから実行して、収集結果をCSVやPDFなどへ出力できる。

Transcript

おスマソです。本日はですね、コデックス からレコード&リプレイっていうね、ま、 プラグインが登場してて、ま、これをやる と、え、画面収録をしている中でね、ま、 そのイベントみたいなのをいい感じに取得 してくれて、え、それをスキル化して、ま 、再現性高くですね、え、やれるような ものを作ってくれるとかなり、ま、これも 便利かなと思いますので、ま、皆さんにも ね、解説していきたいなという風に思い ます。もう本当にね、それだけなんです けど、え、ま、Cデxの中で、ま、 デスクトップアプリとかからね、え、ま、 プラグインとかやって、ま、レコードとね 、ま、検索していくわけなんですけども、 これで、え、ま、インストールをして いただいたら、ま、この中にですね、え、 ま、MCPサーバーみたいな感じで イ... Read More

Key Insights

• Record & Replayは、録画中の画面操作イベントを記録し、その履歴から繰り返し実行できるCodexスキルを作成する仕組みである。
• プラグインの導入後は、イベントを扱う機能と、録画内容をスキルへ変換するための利用手順がCodex内へ追加される。
• 録画対象は、言葉だけでは説明しにくい操作や、毎回同じ順番で複数の画面を扱う定型作業に向いている。
• 操作履歴は録画停止後にJSONLファイルへ保存され、Codexが人間の行動順序を読み取ってスキル化する材料となる。
• 実演では、Hacker NewsとProduct Huntの情報収集、Numbersへの入力、日付付き保存までが一つの作業として記録された。
• 生成されたスキルはテキストで手順を確認して微調整できるため、録画後に不要な処理や期待と異なる流れを修正できる。
• Codexは記録どおりの画面操作だけに限定せず、curlなどのコマンドで処理できる部分を判断して実行する場合がある。
• 完成したデイリーテックリンクレポートのスキルは、新しいスレッドで再実行され、情報源、タイトル、URLを含むCSVとPDFを生成した。
• 🎬 このチャンネルの他の動画:
  • Grok BotでAI作業を自動化する方法
  • Claude Codeで効果的なループを設計する方法
  • Claude Fable 5.1のトークンを節約する方法
• 📺 このチャンネル: まさおAIじっくり解説ch

Questions & Answers

Q: Codexで画面操作をスキル化する方法は？

Record & Replayプラグインを導入し、録画を開始して、スキル化したい作業を実際に操作します。作業終了後に録画を停止すると、操作イベントがJSONLファイルへ保存されます。Codexはその履歴を読み取り、同じ目的の処理を繰り返し実行できるスキルとして手順を作成します。

Q: Record & Replayを使う前に必要な準備は？

Codexのデスクトップアプリでプラグインを開き、Recordに関するプラグインを検索してインストールします。動画では、画面を扱うためにComputer Useを有効にする必要がある可能性にも触れています。導入後は追加されたスキルを読み込み、表示される録画ボタンから操作記録を始めます。

Q: Record & Replayは画面操作をどのように記録するのですか？

録画中に行われた操作をイベントとして取得し、停止後にJSONL形式のファイルへ行動履歴を残します。動画の実演では、ニュースサイトの閲覧、Numbersへの入力、日付の設定、ファイルの書き出しまでが記録対象になりました。この履歴が、Codexによる作業手順の分析とスキル作成に使われます。

Q: 録画した操作から生成されたスキルは修正できますか？

生成されたスキルはテキストとして手順が表現されるため、作成後に微調整できます。録画された流れが期待と異なる場合や、手順を整理したい場合には、その内容を確認して調節できます。動画では、デイリーテックリンクレポートとして作られた手順を確認し、その後に新しいスレッドで実行しています。

Q: Record & Replayでニュース収集を自動化する方法は？

まずHacker NewsやProduct Huntから情報を取得し、表へ入力して保存するまでの一連の操作を録画します。動画ではNumbersにニュース情報を入れ、日付を付けてファイルを書き出しました。録画終了後、Codexがその履歴からデイリーテックリンクレポートのスキルを作り、別のスレッドで再実行しました。

Q: 生成したスキルは録画どおりに画面を操作するのですか？

必ずしもすべてを録画どおりの画面操作で再現するわけではありません。動画では、Computer Useを使わなくても処理できる部分について、Codexがcurlなどのコマンドを選んで進めていました。一方、画面操作が必要なタスクが含まれる場合には、その部分へComputer Useを利用する可能性があると説明されています。

Q: Record & Replayで作ったスキルから何を出力できますか？

動画の実演では、収集した項目をJSONに整理したうえで、CSVとPDFのレポートを生成しました。完成したCSVには情報源、タイトル、URLが含まれ、PDFも結果として提示されています。ただし、これは実演したニュース収集スキルの出力例であり、すべての録画作業が同じ形式になるとは示されていません。

Q: Record & Replayはどのような作業に向いていますか？

人間が繰り返している定型作業や、文章だけでは手順を言語化しにくい画面操作に向いています。操作を一度実演すれば、Codexが具体的なタスクへ落とし込み、再利用できる手順を作成します。話者は、AI初心者へ作業方法を共有する場面にも役立つ可能性があると述べていますが、効果の検証結果は示していません。

Summary & Key Takeaways

• Record & ReplayプラグインをCodexのデスクトップアプリへ追加すると、イベントを扱う機能と利用手順を示すスキルが導入される。Computer Useを有効にしたうえで録画を開始し、人間が普段行っている画面操作を実演することが、再利用可能なスキルを作るための出発点となる。

• 実演ではHacker NewsとProduct Huntから情報を集め、Numbersへ入力し、日付を付けてファイルを書き出した。録画を停止すると、一連の行動がイベントとしてJSONLファイルに残る。Codexはこの記録を基に、デイリーテックリンクレポートという具体的な作業手順へ変換した。

• 生成されたスキルは新しいスレッドで実行でき、今回の例では情報をJSONに整理してから、タイトル、URL、情報源を含むCSVとPDFを作成した。手順はテキストとして編集でき、Codexがコマンドで代替可能と判断した処理にはcurlなどを使うため、すべてを画面操作で再現するとは限らない。