返回首頁

GitHub Repo

Zyphra 提交 ZONOS3-Mini 的 Transformers 原生適配,附語音編碼與生成一致性驗證

Zyphra 作者於 11 月 16 日提交 ZONOS3-Mini 與 ZAC-1 的 Transformers 原生整合,提供轉換權重及統一語音生成介面。提案附有對照原始實作的數值驗證,但尚未合併,不能視為正式版本已支援。

zh-Hant

Zyphra 語音模型 ZONOS3-Mini 的共同作者於 11 月 16 日向 Transformers 提交原生適配 PR,同時加入文字轉語音模型與 ZAC-1 音訊編解碼器。維護者在前置討論中認可整合方向並表示願意審查;截至查核時,PR 仍開放且未有正式審查結果。這次進展是模型進入通用框架的工程整合,模型本身已於 11 月 9 日發布。整合討論、原始發布

提案將系統拆成 zonos3_mini 與 zac 兩個模型類型,由處理器持有音訊 tokenizer。使用者透過 AutoProcessor 與 AutoModelForTextToWaveform 載入,以聊天模板傳入文字及選用的參考聲音;generate 產生音訊碼列,再由 processor.decode 還原為 44.1 kHz 波形。訓練路徑也納入標籤與 loss,讓推論和訓練沿用框架介面。PR 說明

模型卡標示支援 43 種語言,每 token 約啟用一億參數。骨幹結合九層 Gated DeltaNet、兩層全域注意力與 64 專家的稀疏 MoE;音訊則以每秒 15 個影格、每影格十組碼本表示。原生適配權重已上架,包含說話者編碼器與 27 組發布聲音,並以無須 trust_remote_code 為設計目標。工程上的意義是讓文字處理、聲音條件與波形解碼有一致的載入方式,降低另行維護模型專屬流程的負擔。適配模型卡

驗證仍有明確邊界。作者回報在 CPU、float32 條件下,編碼器輸出碼完全一致,解碼最大差異為 1.3×10⁻¹⁰,語言模型 logits 最大差異為 7.6×10⁻⁶,固定種子的生成亦重現原始音訊。這些是提交者的測試結果,尚不能推廣到不同精度、GPU 或所有聲音條件。數值對照

準備試用的團隊應先確認所用分支已包含適配程式,不能只依權重頁面就假設正式套件可載入。下一步值得追蹤的是上游審查與 CI 結果,以及中文數字、日期和長句的實際朗讀表現;模型卡另提醒,需安裝 zyphra-textnorm 才會按訓練方式正規化數字與單位。使用說明

來源

  1. Add ZONOS3-Mini and its ZAC-1 codec — PR #50846
  2. Add ZONOS3-Mini (text-to-speech) and its ZAC-1 codec — Issue #50838
  3. ZONOS3-Mini native Transformers model card
  4. ZONOS3-Mini