GitHub Repo
Zyphra、ZONOS3-MiniのTransformersネイティブ対応を提出 音声のエンコードと生成の一致を検証
Zyphraの著者は11月16日、ZONOS3-MiniとZAC-1のTransformersネイティブ統合を提出した。変換済みの重みと統一された音声生成インターフェースを提供する。元の実装との数値検証も添えられているが、まだマージされておらず、正式版でサポート済みとは見なせない。
Zyphraの音声モデルZONOS3-Miniの共同著者は11月16日、Transformersにネイティブ対応のPRを提出し、テキスト読み上げモデルとZAC-1音声コーデックを追加した。メンテナーは事前の議論で統合の方向性を評価し、レビューする意向を示した。確認時点でPRはオープンのままで、正式なレビュー結果は出ていない。今回の進展は、モデルを汎用フレームワークに統合するエンジニアリング作業であり、モデル自体は11月9日に公開済みだ。統合に関する議論、元のリリース
提案ではシステムをzonos3_miniとzacの2種類のモデルに分け、音声トークナイザーをプロセッサーが保持する。ユーザーはAutoProcessorとAutoModelForTextToWaveformで読み込み、チャットテンプレートを使ってテキストと任意の参照音声を入力する。generateで音声コード列を生成し、その後processor.decodeで44.1 kHzの波形に復元する。学習用のパスにもラベルとlossが組み込まれ、推論と学習のどちらもフレームワークのインターフェースを利用できる。PRの説明
モデルカードによると、43言語に対応し、トークンごとに約1億個のパラメーターが有効になる。バックボーンは9層のGated DeltaNet、2層のグローバルアテンション、64専門家のスパースMoEを組み合わせている。音声は毎秒15フレームで、各フレームを10組のコードブックで表現する。ネイティブ対応の重みは公開済みで、話者エンコーダーと27種類の公開音声を含み、trust_remote_codeを不要にすることを設計目標としている。エンジニアリング上の意義は、テキスト処理、音声条件付け、波形デコードに一貫した読み込み方法を提供し、モデル固有の処理フローを別途保守する負担を軽減することにある。対応モデルカード
検証には明確な適用範囲がある。著者によると、CPU、float32の条件ではエンコーダーの出力コードが完全に一致し、デコーダーの最大差は1.3×10⁻¹⁰、言語モデルのlogitsの最大差は7.6×10⁻⁶だった。また、固定シードでの生成では元の音声が再現された。これらは提出者によるテスト結果であり、異なる精度、GPU、またはあらゆる音声条件に一般化できるとは限らない。数値比較
試用を検討するチームは、利用するブランチに対応コードが含まれていることを先に確認すべきだ。重みのページだけを見て、正式パッケージで読み込めると想定してはならない。今後は上流でのレビューとCIの結果に加え、中国語の数字、日付、長文の実際の読み上げ品質も注目点となる。モデルカードでは、数字や単位を学習時と同じ方法で正規化するにはzyphra-textnormのインストールが必要だと説明している。使用方法