NVIDIAは11月9日、Hugging Face上の公式ブログで、日本語の業務文書を対象にしたデータセット「Nemotron PII Japan」を公開した。PII（個人を特定できる情報）の検出と隠し方（マスキング）を評価するためのもので、ライセンスは商用・非商用のどちらにも使えるCC BY 4.0だ。
和暦や部屋番号も含む「それらしい」文書
日本の文書には、「昭和55年8月21日」のような和暦の生年月日や、建物名と部屋番号まで入った住所など、独特の書き方が多い。外部のAIに文書を要約させる前に、こうした情報を正しく見つけて隠せるか、逆に隠しすぎて文書の意味が失われないかを試す必要がある。
Nemotron PII Japanは、実在の顧客情報を使わずにそれを確かめられるよう、本物らしく作った合成文書10万件をそろえた。医療、金融、行政、雇用、教育、法律、通信・IT、ECの8分野・43種類の文書があり、診断書、融資審査書、転居届、給与明細、入学願書、委任状、セキュリティ事故報告書、購入者からの問い合わせ記録などが含まれる。
56種類の個人情報に印付け
個人情報の種類は56。氏名や住所、メールアドレス、口座番号、マイナンバーのほか、日付・日時・時刻や、医療機関名・教育機関名・公共団体名も別々に区別している。印付けの総数は81万703か所で、1文書あたり平均約8.11か所。本文の合計は約3,474万トークン（AIが文章を数える単位）になる。
データはNVIDIAのデータ生成ツール「NeMo Data Designer」で作られた。個人情報や金額などの値を先に決めてから文章を生成し、あとで矛盾がないかを確かめる手順をとっている。
手元のAIで安全に試せる
自社のPCやサーバーで動かすローカルLLMで個人情報の検出を試したい企業や開発者にとって、日本語の評価用データは貴重だ。音声系のオープンモデルについてはSalesforce、オープンウェイトの音声認識モデル「SOV-Transcribe-1」を公開 Apache 2.0で英語WER 2.28%も参考になる。
