VibeVoice-ASR-BitNet、異種量子化で音声認識モデルを1.58 GBに圧縮、CPU 3スレッドでリアルタイム文字起こしを実現

Microsoft Researchは、VibeVoice-ASR-BitNetの技術レポート、MITライセンスのモデル重み、C++推論実装を公開した。一般的なx86またはARM CPU上で、言語モデルを中核とする多言語音声認識を実行することが目的だ。VibeVoice-ASRの「VAE tokenizer＋自己回帰デコーダー」構成を継承しつつ、従来のQwen2.5-7Bデコーダーを1.5B版に置き換え、エッジデバイスのメモリ要件を引き下げた。

圧縮には、すべてのコンポーネントで同じ形式を一律に適用する手法は採られていない。チームは、ConvNeXt VAE tokenizerが主にアクティベーション値とメモリ転送の制約を受けることを確認し、パイプライン全体にI8_Sを使用した。さらに、正規化、畳み込み、活性化関数を融合し、中間テンソルの読み書きを削減した。一方、重み帯域幅がボトルネックとなるTransformerデコーダーには、I2_Sの三値重みを採用し、埋め込み層と一部の量子化に敏感な箇所はQ6_Kのまま維持した。モデルの総サイズはFP16時の4.62 GBから1.58 GBへと減少し、約2.9分の1に圧縮された。

AMD EPYC 7V13と20秒の音声を使用した公式テストでは、3スレッド時のreal-time factor（RTF）は0.77となり、音声の再生時間よりも短い時間で処理できることが示された。同程度となる約1.6 GBのモデルサイズでは、エンドツーエンドの処理速度がINT8版Whisper.cpp large-v3-turboより1.55～2.28倍高速だった。チームはAVX2およびNEON SIMDカーネルとGGUFファイルも公開しており、llama.cpp、Ollama、Docker Model Runnerから読み込める。

その代償として、精度はすべてのケースで維持されているわけではない。7Bベースラインと比較すると、複数のデータセットでWERまたはCERが悪化しており、中国語のAISHELL-4ではCERが19.83%から27.45%へ上昇した。また、現時点でいう「リアルタイム」とは、音声全体の処理速度を指す。実装はまだストリーミングのチャンク処理や増分デコードには対応していない。エンジニアリングチームは、単一のEPYCテストだけで導入を判断せず、実際に使用するCPU、アクセント、ノイズ、長時間録音における性能を検証すべきだ。