米メリーランド州ボルチモア郡の高校で、AIの銃検知システムがスナック菓子の袋を銃と誤認し、生徒たちが武装した警察官に拘束された問題で、現役・元生徒4人が訴訟を起こした。英Guardianが11月18日に報じた。訴えられたのは、システムを開発したOmnilert、ボルチモア郡警察、教育委員会、個々の警察官、校長だ。原告は、技術と人の両方の誤りによる不当な拘束と捜索だと主張している。

部活帰りに手錠

訴状によると、出来事は昨年の秋、10月20日の夕方に起きた。アメリカンフットボールの練習を終えた生徒たちに、コーチが「ドリトス」の袋を配った。生徒たちが迎えを待っていたところ、警察のパトカー6台がライトを点滅させて現れ、多くの警察官が銃を抜いた。生徒たちは手を上げ、ひざまずくよう命じられ、手錠をかけられて身体検査を受けた。訴状は、生徒たちが「ショックを受け、命の危険を感じた」としている。

Omnilertの「Gun Detect」は、防犯カメラの映像から銃らしきものを探すシステムで、このときは菓子の袋を90%の確信度で銃と判定した。訴状によると、学校の職員と警察が画像を確認して誤りだと判断した後も、警報は続いたという。

「警報の99%超が誤報」との調査

Omnilertは自社製品について「誤報が少ない」とうたっている。しかし訴状は、メリーランド州の教育監察官事務所が、ボルチモア郡の公立学校でのこのシステムの警報のうち99%超が、警察の対応が不要な誤報だったと結論づけたことを挙げている。

生徒の弁護を担う公民権団体の代表は「生徒たちは、誤報を出しやすい技術だけでなく、学校で彼らを守るはずの大人たちにも裏切られた」と述べた。訴状には、校長が事件を笑いの絵文字付きでほかの管理職に伝えたメッセージも含まれ、校長は生徒に謝罪しなかったとされる。Omnilertの広報担当者は以前、地元メディアに対し、訴訟内容を確認しているとしたうえで「生徒と家族が感じた恐怖を心からおわびする」と述べていた。

AIの「誤報」が人の行動につながる怖さ

原告の生徒の一人は、今では放課後に学校で迎えを待つのが怖くなり、お金を払って帰宅の車を手配することが多いという。AIの判定をきっかけに人が動く仕組みでは、誤りが起きたときの確認と止め方が重要になる。AIの誤りと安全をめぐっては、当サイトの「インドのAI債権回収サービス「CreditNirvana」、660万件のアカウントが閲覧可能な状態に」でも、AIサービスに潜むリスクを伝えている。