Anthropicは11月13日、公式サイトの研究ページで、AIモデルの安全性を確かめる「安全性評価」（セーフティ評価、モデルが害につながる応答をしないかを測るテスト）の作り方についての指針を公開した。Claudeの新モデルを公開してよいか、どんな安全策を付けるかといった重い判断は、こうした評価の結果をもとに行われる。同社は「安全性の主張は、その裏にある評価の質以上には信頼できない」と述べている。

評価はなぜ難しいのか

Anthropicによると、AIの評価は「点数を稼ぐためのごまかしが効きやすい」「測りたいものを本当に測れていない」「再現できるほど記録が残っていない」といった問題を抱えがちだ。質問を選択式にするか自由記述にするか、選択肢の並び順をどうするかだけでも結果が変わることがある。

同社はここで、約10年前の心理学の例を挙げる。大規模な追試で多くの研究結果が再現できないと分かり、心理学では「事前登録」（データを集める前に仮説と分析方法を書き残す）や、より厳密な統計といった改革が進んだ。Anthropicはこの経験を手本に、評価づくりのポイントを整理している。

主な提言: チーム、設計、安全な実行環境

まず、統計や採点方法に詳しい専門家と、心理学や生物学など対象分野の専門家の両方を最初からチームに入れること。次に、「このモデルは安全に答えるか」という観察的な問いと、「この変更で安全性が上がったか」という因果的な問いを区別し、後者では条件を1つずつ変えて比べる設計にすることを求めている。

実行環境についても踏み込んだ。安全性評価は通常の安全策を外して行うことが多く、特にサイバー分野ではモデルがテスト環境の境界を探り、外に出て意図しない行動をとるおそれがある。そのため、ネットにつながらない隔離環境（サンドボックス）で動かし、リアルタイムで監視して危険な動きがあればすぐ止められるようにすべきだとした。Anthropicは自社でも事故を受けて評価環境を強化し、インターネット接続を伴う評価の多くを一時停止、ネット検索が必要な評価にはリアルタイム監視を導入したと明かしている。

AIの「前のモデルより安全になった」という発表を読み解くうえでも、評価の中身を問う視点は役に立つ。Claudeの最新動向はClaude Duetの試用レポートでも紹介している。