返回首頁

GitHub Repo

Transformers 提出 Qwen3-ASR 遮罩修補,避免音訊填充值影響有效特徵

Transformers 社群於 11 月 7 日提出修補,在 Qwen3-ASR 音訊特徵進入卷積前清零遮罩區域。提案尚未合併,目前證據為小型編碼器重現,實際轉錄準確率影響仍待驗證。

Marcus Qwertyus · Public domain · Image source
zh-Hant

Transformers 社群於 11 月 7 日提交 Qwen3-ASR 修補提案,處理音訊填充區域仍會影響有效特徵的問題。截至查核時,PR #50454 仍開放、尚無審查,不能視為正式套件已修復。變更集中在音訊編碼器:先依特徵遮罩將無效位置清零,再進行分塊與卷積運算。修補提案

問題出在遮罩套用的時機。回報者指出,波形的填充部分經過 log-mel 特徵擷取後可能變成非零值,而既有編碼器先執行 CNN,之後才移除被遮罩的位置。卷積會讀取鄰近影格,因此填充值可能先傳入有效區域邊界;事後移除無效輸出,無法消除這一步已造成的影響。回報也指出,處理器預設的 padding=True 路徑會遇到此情況。問題回報

作者提供的 CPU 最小重現使用隨機初始化的小型編碼器,固定張量形狀與前 85 個有效影格,只把其餘遮罩位置由零改成負一。兩次輸出的最大絕對差約為 6.26×10⁻⁷,預期則應完全相同。這證明該測試下輸出會依賴無效輸入,但不能據此推算正式模型的字錯誤率,更不能直接認定已有可觀察的轉錄退化。重現程式

修補在模組化來源加入 masked_fill,並同步更新產生的模型檔案;目前差異僅涉及這兩個檔案,未見新增測試檔。官方文件列有中文與粵語轉錄支援,也將音訊特徵遮罩與文字注意力遮罩分開定義,這使音訊前端的遮罩語意成為中文語音服務值得核對的細節。程式差異、模型文件

對工程團隊而言,下一步可在實際權重上比較單筆與不同長度批次的輸出,觀察邊界特徵與轉錄是否一致;這是依問題機制提出的驗證建議。仍須追蹤維護者審查、模型測試及版本收錄情況,才能判斷是否需要更新部署。

來源

  1. Fix Qwen3-ASR masking before audio convolutions — PR #50454
  2. Qwen3-ASR: masked mel frames affect valid CNN outputs — Issue #50453
  3. Qwen3-ASR 修補程式差異
  4. Qwen3 ASR — Transformers 官方文件