Transformers、Qwen3-ASRのマスク領域をゼロ化する修正を提案　音声のパディング値が有効な特徴に影響するのを防止

Transformersコミュニティは11月7日、音声のパディング領域が有効な特徴に影響する問題に対処するため、Qwen3-ASRの修正を提案した。確認時点でPR #50454はオープンのままで、レビューもなく、正式リリース済みのパッケージで修正されたとは言えない。変更は音声エンコーダーに集中しており、特徴量マスクに基づいて無効な位置をゼロ化してから、チャンク分割と畳み込みを行う。修正提案

問題はマスクを適用するタイミングにある。報告者によると、波形のパディング部分はlog-mel特徴量の抽出後に非ゼロ値になることがあり、既存のエンコーダーはCNNを実行してからマスク対象の位置を取り除いていた。畳み込みは隣接するフレームを参照するため、パディング値が先に有効領域の境界へ伝わる可能性がある。無効な出力を後から削除しても、その時点ですでに生じた影響は取り除けない。報告では、プロセッサーのデフォルト設定であるpadding=Trueの経路でもこの問題が起きると指摘している。問題報告

報告者が示したCPUでの最小再現では、ランダム初期化した小型エンコーダーを使い、テンソル形状と最初の85個の有効フレームを固定したうえで、それ以外のマスク位置だけを0から-1に変更した。2つの出力の最大絶対差は約6.26×10⁻⁷だった。本来は完全に同一になるはずだ。この結果は、このテスト条件では出力が無効な入力に依存することを示している。ただし、これをもとに実運用モデルの文字誤り率を推定することはできず、観測可能な文字起こし品質の低下がすでに起きていると結論づけることもできない。再現コード

修正案では、モジュール化されたソースにmasked_fillを追加し、生成済みのモデルファイルも同期して更新している。現時点の差分はこの2ファイルに限られ、新しいテストファイルは確認されていない。公式ドキュメントには中国語と広東語の文字起こし対応が記載されている。また、音声特徴量マスクとテキストのattention maskは別々に定義されているため、中国語音声サービスでは音声フロントエンドのマスクの意味を確認する価値がある。コード差分、モデルドキュメント

エンジニアリングチームは次の段階として、実際の重みを使い、単一サンプルと長さの異なるバッチの出力を比較し、境界付近の特徴量と文字起こしが一致するかを確認できる。これは問題の仕組みに基づく検証案だ。導入を更新する必要があるか判断するには、メンテナーのレビュー、モデルテスト、リリースへの収録状況を引き続き追う必要がある。