Codexでリアルタイム翻訳アプリを作る方法

TL;DR

CodexにGPT-Realtime-2を使う翻訳ツールの作成を指示すると、入力音声の字幕化、翻訳、翻訳結果の音声読み上げまでを行うWebアプリを構築できる。CodexはChrome操作やアプリ横断の音声入力にも対応し、ブラウザ作業や情報入力の効率化にも活用できる。

Transcript

はい、こんにちは。ケトです。この チャンネルは精成の最新情報や活用事例を 紹介してます。是非チャンネル登録お願い いたします。そして今回はですね、 OpenAIのコデxがめちゃくちゃ進化 してまして、伝えたいことがですね、2つ あります。はい。それはですね、ブラウザ のリアルタイムの操作、そして音声入力 です。で、もう1つOPENAIから リアルタイム翻訳機能っていうのがですね 、追加されてまして、これもですね、 なかなか衝撃的だったので、このリアル タイム翻訳ツールを使って、CEXでこの 動画内で翻訳ツールをね、作ってみたいと 思います。これみんなもね、マネーり できると思いますので、是非参考にしつつ 皆さんもですね、やってみてください。え 、結構ですね、衝撃的というか、ま、今後 こういう... Read More

Key Insights

• ・CodexはOpenAIが提供するコーディングエージェントであり、プログラム作成に加えて資料作成や動画編集などのパソコン作業も依頼できる。
• ・Claude Codeの設定はCodexのインポート機能、またはエージェントやスキルのファイルを手動でコピーする方法によって移行できる。
• ・Chrome連携は開いているフォームを読み取り、判別できる入力欄を自動で埋めるほか、複数タブの操作や情報整理にも利用できる。
• ・ブラウザ操作で処理が難しい場合はコンピューター操作機能が補助し、通常のカーソル操作によってブラウザ上の作業を継続することがある。
• ・Codexの音声入力はCodex内に限定されず、MacのメモやSNSなど、パソコン上の別アプリでもコマンドボタンの長押しによって利用できる。
• ・音声入力の辞書登録は固有名詞や定型フレーズの変換を指定できる一方、用途別のカスタムプロンプトを組み込む機能は紹介時点で不足している。
• ・GPT-Realtime-2を組み込んだ試作アプリは、音声の字幕化、英語への翻訳、翻訳結果の音声読み上げを連続してリアルタイムに処理できる。
• ・共有ウィンドウのシステム音声を取り込む構成は、YouTubeなどの動画音声を文字化し、翻訳して別言語で読み上げる用途に応用できる。

Questions & Answers

Q: Codexとは何ですか？

CodexはOpenAIが提供するコーディングエージェントで、ChatGPTとは別のアプリとして利用する。コード作成だけでなく、資料作成や動画編集をはじめとするパソコン上の作業も依頼でき、動画内ではClaude Codeと大きな機能差はないとの見方が示されている。

Q: CodexでChromeを操作する方法は？

Codexの設定を開き、「コンピューターの使用」にあるGoogle Chromeをオンにし、Codexの拡張機能をGoogle ChromeまたはBraveへインストールする。その後、依頼時にプラスマークからChromeのプラグインを呼び出すと、開いているページの確認や入力を任せられる。

Q: Codexのブラウザ操作では何ができますか？

開いている問い合わせフォームを確認して入力可能な欄を埋めるほか、スプレッドシートの内容を編集したり、複数のタブを開いて各ページの情報をまとめたりできる。メールアドレスなどCodexへ伝えていない情報は入力されず、人による追加入力が必要になる場合もある。

Q: ブラウザ操作とコンピューター操作の違いは何ですか？

ブラウザ操作はWebページ上の情報収集や入力を効率よく進める用途に向き、コンピューター操作はデスクトップ上のカーソルを動かして広い範囲を扱う。動画内の試行では、ブラウザ操作が難しくなるとコンピューター操作が自動的に動き、処理を補助する場合があった。

Q: Codexの音声入力を他のアプリで使う方法は？

Codexの一般設定にある音声入力をオンにしてCodexを開いておき、入力したいアプリ上でコマンドボタンを長押しする。画面中央下に音声入力用の表示が現れ、Macのメモ、SNSなどCodex以外のアプリにも話した内容を入力できる。

Q: Codexの音声入力には辞書登録機能がありますか？

辞書登録に対応しており、特定の言葉を話したときの表記や、よく使うフレーズをあらかじめ登録できる。ただし動画内では、入力後の文章を箇条書きへ整えるようなカスタムプロンプト機能は示されておらず、その点ではSuperwhisperが使われている。

Q: GPT-Realtime-2で翻訳アプリを作る方法は？

Codexで作業用フォルダーを作り、GPT-Realtime-2を使うリアルタイム翻訳ツールの作成、参考にするGitHubページ、リアルタイムの読み上げ、開いているウィンドウの音声取得などを指示する。生成後は動作を確認し、問題がある箇所の修正を繰り返してWebアプリを完成させる。

Q: GPT-Realtime-2の翻訳アプリでは何ができますか？

マイクで話した内容をリアルタイムに字幕化し、その文章を英語などへ翻訳して、翻訳結果を音声で読み上げられる。さらに共有するウィンドウとシステム音声を選べば、YouTube動画の日本語音声を取り込み、英訳字幕と英語音声を出力する一連の処理も実行できる。

Summary & Key Takeaways

• CodexはOpenAIのコーディングエージェントで、コード作成だけでなく、資料作成や動画編集を含むパソコン上の作業も依頼できる。Claude Codeで使っていたエージェントやスキルのファイルは、一般設定のインポート機能や手動コピーによって移行できるため、利用するエージェントを変更する際も過去の設定を引き継げる。

• CodexのChrome連携を有効にして拡張機能を導入すると、開いているフォームの確認や入力、スプレッドシートの編集、複数タブからの情報収集などを依頼できる。ブラウザ操作だけでは難しい場面ではコンピューター操作機能が補助的に動く場合があり、Web上の高速な処理とデスクトップ全体の操作を組み合わせられる。

• GPT-Realtime-2を使った試作Webアプリでは、マイクや共有したウィンドウの音声を取り込み、字幕化、別言語への翻訳、翻訳音声の読み上げまでをリアルタイムに実行できた。試作品には認識漏れやずれも見られたが、動画視聴やオンライン会議などで言語の壁を小さくする応用可能性が示された。