Claude Computer useでPCを操作する方法

TL;DR

Claude CoworkのComputer useを一般設定でオンにすると、マウスとキーボードを使ってデスクトップアプリを操作できる。Premiere Proの無音カット、OBSの画像付き手順書作成、Superwhisperの複数モード設定に成功したが、処理は非常に遅く、誤操作への注意も必要である。

Transcript

はい、こんにちは。ケトです。この チャンネルは精成の最新情報や活用事例を 紹介してます。是非チャンネル登録などお 願いいたします。そして今回のテーマは やばいの来てしまいましたね。クロードに パソコンをそのまんま操作させるっていう 機能が追加されました。これがですね、今 までのブラウザ操作とかとはもう全然わけ が違くて本当にパソコンのあらゆるものを 人間同様に操作するっていう機能です。で 、今回追加された機能はデスクトップ アプリに入ってきたコンピューターュー ズっていう機能です。設定の方法は cloudのプロプランもしくは MAックスプランに加入してる人で、 こちらんですね、一般設定はい、一般設定 のコンピューターを使用ってところかな。 はい、こちらをオンにすれば使うことが できるようにな... Read More

Key Insights

• ・Computer useは、Claude Coworkにマウスとキーボードの操作権限を与え、ブラウザに限らずローカルのデスクトップアプリまで画面上から操作させる機能である。
• ・利用条件はClaudeのProプランまたはMaxプランへの加入であり、デスクトップアプリの一般設定にある「コンピューターを使用」をオンにすると利用できる。
• ・Premiere Proの無音カットは、音声波形を画面から推測し、Command＋KとCommand＋Deleteを使う手順を伝えることで最後まで実行できた。
• ・動画編集の自動操作は非常に遅く、約4分の素材なら実演者が自分で編集した方が早いという評価であり、現状では日常利用に適さないと判断された。
• ・Claudeはスクリーンショットから画面要素を把握する一方、音声を直接聞き取れないため、「えー」などのフィラーワードを音だけで判別して削除することはできなかった。
• ・OBSのFPS設定では、Claudeがアプリを操作しながら画面を撮影し、設定ボタン、映像タブ、FPS項目までを画像付きで説明する文書を作成できた。
• ・Superwhisperの設定では、日本語のYouTube台本用プロンプトを生成して入力し、言語を日本語、モデルをClaude Sonnet 4.5に指定する一連の操作が成功した。
• ・安全性は重要な課題であり、押さないよう指示したOBSの終了ボタンを実際に押す場面もあったため、重要な作業では権限範囲と禁止操作を明示する必要がある。

Questions & Answers

Q: Claude Coworkでパソコンを操作する方法は？

ClaudeのProプランまたはMaxプランに加入し、デスクトップアプリ左下の設定から一般設定を開き、「コンピューターを使用」をオンにする。タスクを文章で指示した後、対象アプリへのフルコントロールを求められたらセッションを許可すると、Claudeがマウスとキーボードを操作できる。

Q: Computer useとは何ですか？

Computer useは、Claude Coworkが画面のスクリーンショットを確認しながら、パソコンのカーソルとキーボードを人間のように操作する機能である。ブラウザだけでなく、Premiere Pro、OBS、Superwhisperなど、ローカルで動くデスクトップアプリも対象にできる。

Q: Premiere Proの無音部分を自動カットする方法は？

Premiere Proで対象動画を開き、音声波形から無音区間を推測するよう指示する。さらに、青い再生位置の棒を動かし、Command＋Kで区間の前後を切断し、Command＋Deleteで不要部分を削除して隙間を詰めるという具体的な操作手順をClaudeへ伝えると実行できる。

Q: Computer useでフィラーワードを削除できますか？

実演時のClaudeは音声を直接聞き取れず、音だけを頼りに「えー」や「あー」などのフィラーワードを判別できなかった。ただし、Premiere Proでキャプションを作成し、その文字情報から対象語を見つけて該当部分を削除させる流れなら実現できる可能性が示されている。

Q: デスクトップアプリの画像付き手順書を作る方法は？

対象アプリで行いたい設定と、スクリーンショット付きの手順書にまとめることをClaudeへ依頼する。OBSの例では、設定画面を開き、映像タブとFPS項目へ移動する各段階を撮影し、FPSの値や選択肢を説明した文書ファイルとして出力できた。

Q: Superwhisperのカスタムモードを自動設定する方法は？

SuperwhisperのModelsからCreate Modeを開き、Customを選ぶ手順を伝える。続いて、用途に合う日本語プロンプトの作成と入力、言語のJapaneseへの変更、モデルのClaude Sonnet 4.5への設定を指示する。実演ではYouTube台本用モードが作成され、翻訳、記事作成、箇条書き用モードも続けて依頼された。

Q: Computer useの処理が遅くても役立つ使い方は？

人がその場で行う方が早い短い作業より、依頼後にパソコンを放置できる処理との相性がよい。実演者はDispatch機能を使い、スマートフォンから遠隔地のデスクトップPCへ動画の無音カットを依頼する使い方を挙げており、速度より遠隔実行の利便性を評価している。

Q: Computer useを安全に使うための注意点は？

対象アプリにはフルコントロールが与えられるため、操作してよい範囲と押してはいけないボタンを具体的に指示する必要がある。ただし、OBSでは録画終了ボタンを押さないよう伝えた後でも終了操作が発生したため、重要な処理では監視し、誤操作の影響を考慮して利用するべきである。

Summary & Key Takeaways

• Computer useは、Claude Coworkにマウスとキーボードの操作を許可し、ブラウザ以外のデスクトップアプリも扱わせる機能である。利用者は一般設定の「コンピューターを使用」をオンにし、対象アプリごとのフルコントロールをセッション単位で許可する。APIやMCPとの連携がないアプリでも、画面を見ながらカーソルを動かす方法で作業できる点が特徴である。

• Premiere Proの検証では、音声波形から無音部分を推測し、Command＋Kで切断、Command＋Deleteで削除と隙間詰めを行わせた。作業自体は完了したものの、人が行うより大幅に遅く、音声を直接聞けないためフィラーワードの識別もできなかった。現状は短時間作業より、依頼後に放置できる処理や遠隔実行との組み合わせが向いている。

• OBSではFPS設定画面を実際に操作し、各段階のスクリーンショットを使った手順書を作成できた。Superwhisperでは日本語のYouTube台本用プロンプトを生成して入力し、言語とClaude Sonnet 4.5を設定したほか、翻訳、記事作成、箇条書き用モードの追加も依頼できた。一方、OBSの終了ボタンを押す誤操作も起きており、明確な禁止事項と監視が重要である。