Gemini APIでComputer Useが公開プレビュー。ブラウザ・モバイル・デスクトップ操作に対応

結論から言うと、GoogleはGemini APIで、画面を見て操作するエージェントを作るためのComputer Useを広げました。2026年6月24日の公式リリースノートでは、Gemini 3.5 Flash向けComputer Useツールが公開プレビューになったと記載されています。

具体的には、ブラウザ、モバイル、デスクトップ環境を対象にでき、モデルがスクリーンショットを見てクリック、入力、キーボード操作などのUIアクションを返します。今回の更新では、意図を含む簡略化されたアクション、設定できる安全ポリシー、プロンプトインジェクション検出も示されています。

API利用者は、Geminiが返した操作を自分の実行環境で動かし、結果の画面をまたモデルに渡して次の操作を決めます。私たちに関係するのは、予約フォームの確認、社内画面の入力補助、Web上の反復作業などを、AIが人の画面操作に近い形で助けられる可能性です。ただし公開プレビューなので、本番運用にそのまま入れる段階ではありません。

Google自身もComputer Useでは実行環境を開発者側で用意すると説明しており、顧客データや決済を扱う作業では、人の確認、権限制限、操作ログを必ず組み合わせるべきです。