Googleは11月19日、Mac向けの「Gemini」アプリに、AIが利用者の代わりにパソコンを操作して作業を進める「コンピューター操作(computer use)」機能を追加したと公式ブログで発表した。やりたいことを文章で伝えると、Geminiがメニューを開き、文字を入力し、ボタンをクリックし、入力欄を埋めながら、Macのアプリ、Webサイト、手元のファイルをまたいだ作業をこなす。米TechCrunchも同日、この機能を報じた。

別ウィンドウで動き、画面とマウスは自分で使える

Googleによると、Geminiは利用者の画面とは切り離された「別のウィンドウ」の中で作業し、その様子はチャットの中に実況のように表示される。利用者のメイン画面とマウスのカーソルは空いたままなので、AIが作業している間も、文章を書いたり、デザインをしたり、通話をしたりできるという。

安全とプライバシーのために、Geminiが触ってよいアプリは利用者が選ぶ。作業の一歩ずつを画面で確認でき、いつでも一時停止できるほか、大事な操作は実行の前に利用者が承認する仕組みになっている。

写真の一括編集から出品作業まで

Googleは使い道の例として、デザインソフトで写真の色調をまとめて整える、手元のPDFから重さや寸法、住所を読み取って配送見積もりの入力欄を埋める、地域ごとのダッシュボードから数値と画面写真を集めてGoogleスライドの資料にまとめる、服の写真のフォルダーを分析して相場を調べ、フリマサイトへの出品の準備をする、などを挙げた。

提供はまず米国の英語版からで、Apple製チップ搭載のMac(macOS Sequoia 15.0以降)が必要になる。18歳以上の個人のGoogleアカウントで、有料プランの「Google AI Plus」「Pro」「Ultra」の利用者が対象だ。TechCrunchによると、Googleは他の国や機器への拡大の時期は明らかにしていない。

TechCrunchは、OpenAIやAnthropic、Metaはすでにパソコン向けアプリでAIが操作を代わりに行う機能を提供しており、Googleは「やや出遅れた」と指摘した。Googleは今週、Webサイトへのログインや買い物、予約を代行するGeminiの「タスク」機能を日本を含む6か国で無料にしたばかりで、AIが自分で動く「エージェント」機能を急いで広げている。