OpenAIは11月16日(米国時間)、子どもを性的に扱う画像(CSAM=児童性的虐待コンテンツ)への対策として、新しいツールと仕組みをまとめて発表した。米TechCrunchが同日報じた。柱は、問題のある画像を見つけ出す「画像分類器(画像判定ツール)」の提供、ChatGPTでの警告と一時的な利用停止、アプリ開発者向けの指針、捜査機関向けの支援の4つだ。
見逃さず、確認作業は減らす判定ツール
新しい画像判定ツールは、AIで生成された画像を含め、これまで見つかっていない虐待画像を見分けることを狙う。画像に含まれる虐待の兆候を探し、点数を付けて、人間の確認担当者がどの画像から確認すべきかの目安を示す仕組みだ。OpenAIは、米国の行方不明・被搾取児童センター(NCMEC)と協力して開発し、業界団体のTech CoalitionやROOSTを通じて利用を広げる。選ばれた企業には、API(ソフト同士をつなぐ窓口)経由で無償提供する。
同社によると、協力企業との初期テストでは、見つけた虐待画像の数は同じまま、確認が必要として示す画像の数を48%減らせた。また、このツールが示した画像は、実際に虐待画像である確率が2倍高かったという。確認する人の負担を減らしながら精度を保てることになる。
ChatGPTでは警告画面と24時間の利用停止
ChatGPTはもともとこうした画像や要求をブロックしているが、今後は子どもを性的に扱う内容を求めた利用者に警告画面を表示し、行動をやめるための専門的な支援窓口を案内する。さらに警告としてアカウントを24時間停止し、繰り返した場合はアカウントを永久に削除することもある。警告文の内容は、児童保護団体や、警告メッセージの効果を独自に検証した豪タスマニア大学の研究者らと一緒に作ったという。
あわせて、OpenAIのツールを使う開発者向けに、虐待コンテンツの防止・検出・通報の指針を公開した。捜査機関には、専用のプラグインや捜査用のツール、データ分析機能を提供し、AIの使い方の研修や手引きも用意する。TechCrunchは、AIが子どもに与える害をめぐってOpenAIが複数の訴訟を抱えていることにも触れている。






