X-AuT、Qwen3-ASRの音声タワーを段階的に剪定し、車載環境でのエンコード遅延を21.4%削減

小鵬AIはX-AuTを公開し、既存のテキストデコーダーを維持したまま、音声大規模モデルの音声タワーのみを圧縮する手法を提示した。Transformer blockを単純に削除すると、デコーダーに入力される音声埋め込みが変化し、大量の脱落や早すぎるEOS出力を招くことが多い。そこでX-AuTは、各層の重要度を固定的な基準として扱うのではなく、短周期の「行動プローブ」により、異なる層削除構成から性能を回復できるかを実際に検証する。

圧縮は18→16→14層の2段階で行われる。各段階では、まず中間表現、bridge出力、logitsをアラインメントし、その後、凍結したQwen3-ASR-1.7Bを教師としてクロススケール蒸留を実施する。学習中は、デコード用コンテキストを教師の出力から生徒自身の出力へ徐々に切り替え、最後に低い学習率でLoRAファインチューニングを行う。0.6B生徒モデルの言語モデル本体は凍結されたままで、デコーダーのattention adapterと特定の出力コンポーネントのみが性能回復のための学習対象となる。同じ16層構成では、大規模教師を用いた場合のマクロ平均誤り率が5.55%だったのに対し、自己蒸留では8.45%となった。この結果は、層削除によって生じるインターフェースのずれを修復するうえで、教師モデルの規模が重要であることを示している。

中国語・英語の公開ASRベンチマーク10種では、16層版のCER／WERマクロ平均が元モデルの5.61%から5.27%へ低下した。14層版は5.75%で、音声タワーのパラメーター数は約186.38Mから147.79Mへ減少した。14層版では、車載PPUとH800におけるエンコーダー遅延がそれぞれ21.4%と11.4%削減された一方、エンドツーエンドでの改善は4.7%と2.6%にとどまった。剪定されていない28層のテキストデコーダーが、依然として全体の処理時間を支配しているためだ。

公開された内容には、14層版の完全な重み、スタンドアロン推論スクリプト、簡略化されたLoRAサンプルが含まれるが、行動プローブ、最初の2段階の蒸留コード、元のデータパイプラインは含まれていない。また、すべてのベンチマーク結果は単一実行で得られた最良のcheckpointに基づいており、複数の乱数シードによる評価や信頼区間は示されていない。14層モデルがベースラインを上回ったのも、わずか2つのベンチマークに限られる。今後注目すべき点は、完全な学習プロセスを再現できるか、そして言語、モデルアーキテクチャ、ストリーミング時のバッチ構成が変わっても同等の効果を維持できるかである。