Gemini SparkでPC操作を自動化する方法

TL;DR

Gemini Sparkでは、接続を許可したMac内のフォルダーを対象に、ファイル整理、レシートからの表計算ファイル作成、スライド生成などを実行できる。定型業務はスキルとして保存でき、カスタムアプリとWebMCPを組み合わせれば、指定デザインの再現性も高められる。

Transcript

はい、こんにちは。ケトです。この チャンネルは制成の最新情報や活用事例を 紹介してます。是非チャンネル登録お願い いたします。そして今回のテーマはですね 、ジェミニスパーっていうGoogleの AIですね。そのジェミニスパークに デスクトップアプリがあるんですけど、 そっちのですね、スパークでパソコンの 操作ができるようになりました。はい。 それによってですね、今までのジェミニで は絶対にできなかったような活用方法が たくさん生まれてきてますので、この辺り をですね、この動画1本にまとめて解説し ていきたいと思います。ま、あとはAI エージェントスキルを入れるとどういった 動きをするのかみたいなところもですね、 合わせて解説していきたいと思いますので 、是非ですね、最後まで見ていただいて 参... Read More

Key Insights

• Gemini SparkのPC操作は、デスクトップアプリで接続とアクセス許可を設定したフォルダー内のファイルを読み取り、整理や新規ファイル生成を実行する仕組みである。
• フォルダー整理は、対象フォルダーを指定して拡張子ごとの分類を依頼すると、CSV、PNG、テキストなどのフォルダーを作り、対応するファイルを自動配置できる。
• レシート処理は、画像の内容から経費情報を抽出し、指定場所へExcelファイルとして保存でき、さらにGoogleスプレッドシート形式へ変換することも可能である。
• コマンド実行は、ライブラリーのインストールやファイル操作の途中で利用者の承認を求める仕様であり、現状は承認作業を一括で省略する手段が用意されていない。
• スキル機能は、資料の形式、デザイン条件、作業手順を保存し、新しいタスクでスラッシュ入力から呼び出すことで、繰り返し業務の再現性を高める機能である。
• 標準スキルによる資料生成は、参照用の具体的なスライドデザインがない場合、Webサイトの雰囲気を十分に再現できず、完成内容にばらつきが生じることがある。
• WebMCPの活用は、配色、レイアウト、作業手順などの複雑なルールをカスタムアプリとしてSparkへ接続し、共通スキルとして利用する方法である。
• 高再現性のスライド生成は、MCP側にデザイン済みの外枠と複数レイアウトを用意し、Sparkには文章作成やレイアウト選択、図や画像の配置を担当させる分業で実現した。

Questions & Answers

Q: Gemini Sparkでパソコン内のファイルを操作する方法は？

GeminiのデスクトップアプリでSparkを開き、接続フォルダーから操作対象のMacフォルダーを追加します。ファイルへのアクセス確認が表示されたら許可し、その後に対象フォルダー名と実行したい整理、読み取り、資料作成などの処理を指示します。接続はリンク状のボタンから解除できます。

Q: Gemini Sparkでフォルダーを自動整理する方法は？

整理したいフォルダーをSparkへ接続し、対象の場所と分類基準を文章で指定します。実演では、検証用フォルダー内のファイル整理フォルダーを拡張子ごとに整理するよう依頼し、CSV、PNG、テキストのフォルダーが作成され、それぞれのファイルが対応する場所へ分類されました。

Q: Gemini SparkでレシートからExcelを作る方法は？

レシート画像を渡すか、接続済みフォルダー内の画像を参照させ、経費計算用のExcelファイルを指定フォルダーへ作成するよう指示します。実演ではopenpyxlが未導入だったため、Sparkがインストールを提案し、利用者が許可した後にExcelを生成して保存しました。

Q: Gemini SparkとGoogleスプレッドシートを連携する方法は？

設定画面のアプリ連携からGoogle Workspace関連のアプリを接続します。Excel形式で作成した経費表に対し、スプレッドシートとしても作成するよう追加指示すると、接続済みのGoogleシートを利用して変換され、生成後のリンクをクリックして内容を開けます。

Q: Gemini Sparkのスキルとは何ですか？

スキルとは、繰り返し使う作業手順やフォーマット、デザイン条件を保存して再利用する仕組みです。Sparkのスキル作成画面から希望する処理を伝えて登録し、新しいタスクでスラッシュを入力すると、作成済みのスキルを選択して呼び出せます。

Q: Gemini Sparkでスライド資料を自動生成する方法は？

資料作成用のスキルを登録し、接続済みフォルダー内にある元データを指定して、スライドへまとめるよう依頼します。Sparkは対象ファイルを読み込み、登録したスキルを使用して処理します。PowerPoint生成にpython-pptxが必要な場合は、承認後にライブラリーを導入してファイルを作成します。

Q: Gemini Sparkでスライドデザインの再現性を高める方法は？

WebサイトのURLと文章指示だけでは、狙ったデザインを十分に再現できない場合があります。実演では、WebMCP側にコンテンツ未入力のスライド外枠、複数のレイアウト、配色、詳細な作業手順を用意し、Sparkにはレイアウト選択と文章、図、画像の配置を担当させて再現性を高めました。

Q: Gemini Sparkを利用するときの注意点は？

利用環境と権限管理に注意が必要です。実演者はGoogle AIのウルトラプランとMac、日本語設定で利用し、プロプランでも使える可能性に言及していますが、Windows版は後日と説明しています。また、コマンドやライブラリー導入のたびに承認が必要で、接続範囲や導入内容を確認しながら進める必要があります。

Summary & Key Takeaways

• GeminiデスクトップアプリのSparkでは、操作対象のフォルダーを追加し、アクセスを許可することで、その中のファイルを読み取り、整理や生成を実行できる。検証では、複数形式のファイルが混在するフォルダーを指定し、拡張子ごとのCSV、PNG、テキスト用フォルダーへ自動的に分類した。接続範囲を広げれば、デスクトップ全体やユーザーフォルダーを参照させる使い方も可能と説明された。

• レシート画像から経費情報を読み取り、指定フォルダー内にExcelファイルを作成する処理も実演された。必要なopenpyxlが環境にない場合は、Sparkがインストールを提案し、利用者の承認後に処理を進めた。完成した表は整理された状態で保存され、接続済みのGoogle Workspaceアプリを利用してGoogleスプレッドシートへ変換し、リンクから開くこともできた。

• 繰り返す資料作成では、フォーマットや手順をスキルとして登録し、スラッシュ入力から呼び出せる。ただし、Webサイトだけを参考に作ったスキルではデザインの再現性が不足した。そこでWebMCP側に空のスライド外観、複数のレイアウト、配色や作成手順を用意し、Sparkにはレイアウト選択や文章、図、画像の配置を担当させた結果、狙ったデザインに近い編集可能なPowerPointを生成できた。