米カリフォルニア州のギャビン・ニューサム知事は、AIの危険を減らすための幅広い政策提言を公表した。州の非営利報道機関CalMattersが11月19日に報じたもので、目玉は、州の当局が「危険」と判断したAIシステムをすぐに緊急停止させられる権限、通称「キルスイッチ」だ。ChatGPTを手がけるOpenAIやClaudeを手がけるAnthropicのような企業が、暴走したシステムを抑える対応を拒んだ場合に使うことを想定している。

提言の主な中身

提言は、ニューサム知事が今秋に集めた4人の専門家会議がまとめた。政府機関や銀行、民間企業を狙ったAIエージェントによる大規模なサイバー攻撃が相次いだことを受けたものだ。主な内容は次の通り。

  • 独立した監査機関(第三者の検証機関)にAIモデルを検査させ、安全とセキュリティの基準を定める
  • 監査機関を州の免許制にし、独立性や技術力が足りない機関は免許を取り消せるようにする
  • 監査の割り当てをAI企業ではなく州が行うことを検討する
  • AIの重大な安全事故を政府に報告する期限を、15日から48時間に短縮する
  • 内部告発者の保護を、契約社員や元社員にも広げる
  • 大規模なAIの開発者に、緊急時にモデルを止められることを示すよう義務づける
  • AIの開発をAIで自動化する際の計算資源の量の開示や、その使い方の制限を可能にする
  • 誰でもAIを使える公共のクラウド「CalCompute」の資金を、監査料への上乗せで確保する

州法では、1回の出来事で50人を超える死者、またはサイバー攻撃や自律的なシステムによる10億ドル以上の盗難・損害を起こしうるものを「壊滅的なリスク」と定めており、今回の提言はこの壊滅的なリスクに絞っている。差別や雇用、子どもの心の健康といった別の問題は扱っていない。

連邦の規制が進まない中で

ニューサム知事は「トランプ大統領は肩をすくめ、AIの規制を企業任せにしている」と批判し、州が連邦の空白を埋めると強調した。次期知事のハビエル・ベセラ氏も、事故の報告と停止権限を「早く法律にする」と表明している。州議会は12月7日に再開し、新しい法案を提出できる。同じ週には、州司法長官がAIエージェントによるサイバー攻撃をめぐってOpenAIを提訴している。

Anthropicの最高グローバル渉外責任者ティノ・クエヤル氏は、AIモデルの独立した評価などで議論が前に進んだことを「心強い」とし、「カリフォルニア州と世界の指導者と協力を続ける」とコメントした。AIの安全をめぐっては、当サイトのカリフォルニア州がOpenAIを提訴した件も伝えている。