TIP
← 記事

AI

Zyphra、オープンソースTTSモデル「ZONOS3-Mini」を公開——ブラウザ上でリアルタイム動作、100Mアクティブパラメータで高品質音声合成

2026/11/12

Zyphra、軽量オープンソースTTS「ZONOS3-Mini」をリリース

AIスタートアップのZyphraは、テキスト読み上げ(TTS)モデル「ZONOS3-Mini」を公開した。Apache 2.0ライセンスで提供され、Hugging Faceからウェイトをダウンロードできる。同モデルは総パラメータ数800M、トークンあたりのアクティブパラメータ数は約100Mのスパース混合エキスパート(Sparse MoE)構成をとる。ゼロショット音声クローン、単語レベルの音声制御、ブラウザ上でのリアルタイム推論に対応すると報告されている。

前モデルZONOS2からの主な変更点

前世代のZONOS2は8Bパラメータ、86 Hzコーデックという構成であり、デプロイ先が制限されていた。ZONOS3-Miniはその両方を大幅に削減し、オンデバイスでの実用性を高めることを目指したとされる。Zyphraによれば、NVIDIA H100を112基使って2.5日間でトレーニングを完了したという。

アーキテクチャの3つの刷新

記事によれば、ZONOS3-Miniはスタックの3層を刷新している。

新コーデック「ZAC-1」:従来のDescript Audio Codec(DAC)に替えて、Zyphra独自の「Zyphra Audio Codec 1(ZAC-1)」を採用。15 Hzで動作し、1つのセマンティックコードブックと9つのアコースティックコードブック(各4,096エントリ)で構成される。同社は、類似のデータ制約下でDACを使ったモデルと比較して単語誤り率が10分の1に低下したと報告している。なお、因果的iSTFT(逆短時間フーリエ変換)ヘッドにより、各フレームが生成されると同時に44.1 kHzの音声としてレンダリングされる。

ハイブリッドMoEバックボーン:11層・モデル次元1,024の構成で、64エキスパート・上位2エキスパートルーティングを採用。シーケンス混合は3対1の比率で、9層のGated DeltaNet(GDN)と2層のグローバルアテンション層を組み合わせる。さらに潜在MoE、Qバランシング、アテンション残差も加えられているとされる。

新スピーカーエンコーダー「MECT-B2」:従来のQwen3-TTSスピーカーエンコーダーから「MECT-B2」へ置き換えられた。最大60秒の生の参照クリップ、または192次元のスピーカー埋め込みを入力として受け付ける。ポストトレーニングではDPO(Direct Preference Optimization)とGRPO(Group Relative Policy Optimization)を組み合わせてロバスト性を向上させたという。

単語レベルの音声制御

ZONOS3-Miniは音声の細粒度制御機能を備えると報告されている。スピーカー埋め込みベクトルとアクセントタスクベクトルによって年齢・性別・アクセント・声質などの「アイデンティティ制御」が行える。また、ペース・感情・声量・活発さといった「デリバリー制御」はアクティベーションステアリングで実現しており、学習済みアライメントヘッドによってストリーミング中に特定の単語へのみ適用できるとされる。生成後に文章を修正する編集モデル(VoiceCraftレシピベース)も別途用意されているという。

パフォーマンス:Zyphra自社計測による数値

Zyphraが公開している数値(いずれも同社による自己報告)によれば、H100 1基・同時リクエスト8件の条件で初回音声出力までの中央値レイテンシは80ミリ秒、ピークスループットは毎秒457秒分の音声を生成できるとされる。ブラウザ(WebGPU)での動作においては、Pixel 9で570ミリ秒未満、M3搭載MacBook Airでは150ミリ秒未満の初回出力レイテンシを達成したと報告されている。なお、同社のベンチマーク「ZTTS2-Eval Capability Index」においてオープンモデル中首位を記録したとしているが、このベンチマーク自体もZyphra自身が実施したものである点には留意が必要だ。また、参照クリップを使ったクローンのスコアはエンベッディングモードより大幅に低いことも同社が認めている。

対応プラットフォームと利用方法

本モデルは幅広いプラットフォームに対応しているとされる。

  • NVIDIA GPU:SGLang-OmniによるOpenAI互換の /v1/audio/speech エンドポイント(ストリーミング対応)
  • Apple Silicon:MLXフレームワーク経由
  • CPU / CUDA / Metal / Vulkan:C++/ggmlサーバーおよびCLI
  • ブラウザ:WebGPUを使ったオンデバイス推論
  • クラウド:ZyphraのマネージドAPIサービス(NVIDIA H200で提供)

最大32,768トークンのコンテキスト長と、1回の生成で最大10分の音声出力をサポートすると報告されている。ウェイトはHugging Face(Zyphra/ZONOS3-Mini)からApache 2.0ライセンスで入手できる。


出典: Zyphra Releases ZONOS3-Mini: Open-Source TTS With 100M Active Parameters