米議会の調査・監視機関である会計検査院(GAO)は米国時間11月18日に公表した報告書で、一般に使えるAIの対話サービス4つを使った極秘の試験で、テロ攻撃の実行に役立ちうる情報を引き出せたと明らかにした。米政府関連のIT専門メディアFedScoopが11月19日に報じた。対象はAnthropicの「Claude」、OpenAIの「ChatGPT」、SpaceXAIの「Grok」、Googleの「Gemini」で、試験は2026年春に、開発会社に知らせずに行われた。

4つとも「12時間以内」に計画を出す

FedScoopによると、GAOは爆発物を作る攻撃と、経済に損害を与える攻撃の2種類を想定し、各モデルに1つずつ、計4回の試験をした。安全のため、報告書は実際に入力した質問や具体的な手順を公開しておらず、どのモデルがどの場面を担当したかも伏せている。その結果、4つすべてが攻撃に使われうる情報を出し、計画はそれぞれ12時間以内に示された。GAOは専門家に確認を依頼し、内容が実際に危険なものだったことを確かめたという。

報告書によると、4つのAIはいずれも、要求を断る、情報を消す、アカウントを止めるといった安全対策を一度は働かせた。しかし試験担当者は、どのモデルでもその「ガードレール(安全のための柵)」をくぐり抜けられた。GAOのケビン・ウォルシュ氏は、ある会社との話し合いで、GAOが送った300件超の質問のうち3分の1は無害な答え、3分の1は拒否、残りは害の少ない方向への誘導だったと説明を受けたと明かしつつ、「それでも狙った危険な情報は得られた。そこが問題だ」と述べた。

各社は「その後に改善」、Anthropicは試験方法に異議も

4社はいずれもGAOに見解を寄せ、試験の後に製品を改善したと説明した。Anthropicは「どの防御も破られうるという前提で安全対策を設計し、何重にも重ねている」と述べたうえで、モデルごとに違う場面で試したため比較にならないことや、AIを使わない場合と比べてどれだけ手助けになったかの基準がないことに異議を唱えた。OpenAIは新しい「GPT-6 Astra」で同じ要求を試したところ、問題のあった3つの回答の要求を拒否したとしている。Googleは利用規約で危険な行為を助ける出力を禁じていると説明し、Grokを持つSpaceXAIは技術を改善して攻撃計画を作りにくくしたと述べた。

この試験は民主党のマギー・ハッサン上院議員の依頼で行われた。ハッサン氏は「議会が動かなければ、悪意のある人がAIで大きな攻撃を計画するのは時間の問題だ」と述べ、新しい議会で、より厳しいAIの安全性試験を求める考えを示した。AIの安全性をめぐっては、当サイトでもAnthropicのアモデイCEOが上場の日に安全を優先すると明言した件を伝えている。