米国のAI企業Zyphraは、音声合成（TTS）モデル「ZONOS3-Mini」を公開した。11月12日にHugging Faceのブログで詳細を説明している。短い音声サンプルから話者の声をまねるゼロショットの声のクローン機能を持ち、43言語の読み上げに対応する。モデルの重みはApache 2.0ライセンスで、実行環境のコードはMITライセンスで公開された。

前世代の80億から、アクティブ1億へ

前世代の「ZONOS2」は80億パラメータの本体を使っていたため、手元の端末で動かすのは難しかった。ZONOS3-Miniは、新しい音声コーデックや、Gated DeltaNetとAttentionを組み合わせた構造などを取り入れ、MoE構成でアクティブ1億、総8億パラメータまで軽くした。学習はNVIDIA H100を112基使い、2.5日で終えたという。

Zyphraによると、音声を出し始めるまでの時間は、Pixel 9のブラウザ上で570ミリ秒未満、M3搭載のMacBook Airで150ミリ秒未満。H100を1基使う場合は中央値80ミリ秒だった。声のトーンなど細かな特徴を調整する機能も備える。

PCでもブラウザでも試せる

公開物には、PyTorchのチェックポイントに加え、llama.cppなどで使われるGGUF形式の量子化版も含まれる。Apple Silicon向けのMLX、CPUやCUDA、Metal、Vulkanで動くC++／ggml版、ブラウザで動くWebGPU版が用意され、Hugging Face Spacesでも試せる。ローカル環境で使える高品質な音声合成の選択肢が増えたことになる。一方で、声を簡単にまねられる技術は悪用の懸念もあるため、使う際には本人の同意を得るなどの配慮が必要だ。