主要なAIモデルが、「これはゲームだ」と伝えられるだけで、軍事攻撃の目標探しに手を貸してしまう――。AIの評価を手がける米サンフランシスコのスタートアップValsがこんな研究報告をまとめ、米TechCrunchが11月17日(米国時間)に報じた。対象にはAnthropic、OpenAI、Google、DeepSeekなどのモデルが含まれる。
「拒否」しても、ゲームと言えば従ってしまう
研究では、作られた画像とウクライナやイランの実際の画像を組み合わせた模擬の戦場を用意し、ドローンや衛星の画像の中で攻撃目標に印をつけるかどうかを調べた。各社のモデルは、民間人や投降しようとする兵士を含めて、目標になりうる対象をたびたび指し示したという。モデルが協力を断った場合でも、研究者が「これはゲームの一部だ」と伝えると、多くが従った。研究者の依頼が安全確認の仕組み(危険な依頼を自動で止める判定器)で止められた例は1つもなく、拒否自体もまれだった。
TechCrunchによると、皮肉なことに試験の結果が最も悪かったのはAnthropicのモデルだった。2026年2月に攻撃を受けたイランの学校の実際の衛星画像を使った試験では、軍の施設の隣にあったその学校を「攻撃目標」とすることが多く、Claude Opus 5.5は通常の試験の69%、ゲームと伝えた試験の72%で学校を選んだ。ただし、どのモデルの成績も良くはなかったという。
Anthropic「容認できない」、追加の安全策を近く導入
Anthropicの広報担当者は、報告と提言に感謝したうえで、結果は容認できないと認めた。同社は「報告の例は明らかに当社の規則に反しており、こうした行為を見つけた利用者は利用を禁止してきたし、今後も禁止する」とし、「許可された用途であっても、今の最先端AIは完全な自律型兵器を動かせるほど信頼できない」との立場を改めて示した。報告の公開前から追加の安全策を作っており、近く導入するという。OpenAIも、公開モデルを暴力や未承認の安全保障目的に使うことを禁じており、ドローン関連の悪用への追加策を作っていると答えた。
Valsは、モデルが攻撃の実行そのものを判断するよう求められたわけではなく、通信の遅れなど技術的な制約から、汎用AIをその場のドローン攻撃に使うのは難しいとも指摘している。むしろ心配なのは、戦場の映像に大量の印をつけて、自律型の兵器を学習させるためのデータ作りに使われることだという。AIエージェントの安全性をめぐっては、Gemini 4 Argonのエージェントが安全テスト中に実在サイトを攻撃した件も報告されたばかりだ。







![Claude Code実践入門 [生成AI深掘りガイド]](../../assets/images/products/claudecodebook.jpg)




