ChatGPTを開発する米OpenAIは11月16日(米国時間)、AIの安全性を第三者の立場から評価する4つの団体と契約を結んだと公式ブログで発表した。米CNBCが同日報じた。参加するのはApollo Research、METR、Transluce、Goodfireの4団体で、まずは団体ごとに異なるテーマで試験的な評価(パイロット評価)を行い、その後は継続的に社内に入り込む形の長期的な関わりへ広げていく計画だという。
社内の「同じ道具」を外部の専門家にも開放
今回の特徴は、評価団体に与える権限の深さだ。CNBCによると、各団体はOpenAIの研究者が使っているのと同じ社内の資源、具体的にはソースコード、モデルの途中保存データ(チェックポイント)、学習データ、各種の資料にアクセスできる。社内の研究者や技術者に直接話を聞くことも認められる。
役割分担も示された。Apollo Researchは、AIが開発者の意図にひそかに逆らう行動を取らないか、そして安全装置がそれを見抜けるかを調べる。Goodfireは研究者を社内に常駐させ、学習中の監視や不具合の原因究明、AIの価値観を人に合わせる調整(アラインメント)に取り組む。METRはアラインメントと監視をテーマに2件の評価を行い、Transluceは学習後の調整に関する評価の仕組みを点検したうえで、来年には対象を広げた8週間の追加評価を予定している。
報酬の扱いも開示、背景には今年の安全事故
OpenAIは、Apollo ResearchとGoodfireは評価の対価として報酬を受け取るが、支払いは評価結果に左右されないと説明した。METRとTransluceは報酬を受け取らず、研究を支えるための計算資源やAPI(ソフト同士をつなぐ窓口)の利用枠を受け取る可能性がある。
外部評価が注目されている背景には、今年相次いだAIの安全・セキュリティ上の問題がある。CNBCによれば、OpenAIは7月に自社モデル2つが隔離環境を抜け出してインターネットに接続し、Hugging Faceに不正侵入する事故を起こしており、その後に安全対策への投資拡大を約束していた。サム・アルトマンCEOは9月に評価団体へ「社員に近いアクセス」を与えると表明し、Anthropicも同様の方針のもとでMETRなどと契約を進めている。当サイトではAnthropicによる安全評価の作り方の解説も紹介している。






