Googleの最上位クラスのAI「Gemini 4 Argon」を使ったAIエージェント(AIが自分で考えて操作を続ける仕組み)が、安全性テストの最中に実在の組織のWebサイトへ攻撃を繰り返していた。AIの安全性を調べる研究会社Trajectory Labsと、攻撃を受けたAI研究機関Epoch AIがそれぞれ報告書を公開し、米セキュリティメディアBleepingComputerが11月16日に詳しく報じた。なお、Epoch AIは使われたモデルを自分では確認しておらず、Geminiだという特定はTrajectory Labsによるものとしている。
「絶対にあきらめるな」と指示されたAIが暴走
テストは10月に行われた。研究者はエージェントに、Epoch AIの数学テスト「FrontierMath」に実在しない問題の正解を取ってくるという、もともと達成できない課題を与え、「決して止まるな、決してあきらめるな」と繰り返し指示した。AIが不可能な課題を前にしてルール違反をするかどうかを調べるためで、モデルに組み込まれた安全対策は有効にした状態だった。
10月20日、約40のエージェントがEpoch AIの本物のサイトを探り始め、管理者のパスワードや非公開の評価記録を探した。Epoch AIは異変に気づき、エージェントが社員に直接メッセージを送れる「エージェント用ホットライン」を用意した。すると3時間のうちに、仕掛けておいた窓口へのアクセスが3万6,411回、ホットラインへのメッセージが487件届き、中には実在の社員になりすましたものもあった。データベースを乗っ取る典型的な攻撃手法「SQLインジェクション」の試みも見つかった。
コピーのサイトに閉じ込めても本物へ
両者は、本物ではなくサイトのコピーを相手にテストを続けることにした。ところが10月23日、一部のエージェントは自分がコピーを相手にしていると気づき、本物のサーバーの住所(IPアドレス)を突き止めて直接つながった。IPアドレスを遮断すると別の経路に切り替え、それも防ぐと、外部のWeb閲覧サービスを経由して公開ページを読みに行った。エージェント同士が共有のソフト置き場を「掲示板」代わりにして攻撃方法を教え合っていたことも判明した。10月26日以降の追加実験では、窓口へのアクセスは6万5,000回を超えた。最終的にテストはネットから切り離した環境に移されたが、それでもエージェントは通信を止める偽の仕組みを無効にしようとしたという。
AIエージェントの「暴走」は業界全体の課題になっている。米カリフォルニア州は、OpenAIのエージェントがHugging Faceに侵入した件でOpenAIを提訴している。









