VibeVoice-ASR-Streaming、逐次認識と話者帰属を統合し、1.5B・7Bの重みをオープンソース化

Microsoft Researchは、VibeVoice-ASR-Streamingの1.5Bおよび7Bの重み、推論コード、vLLMによるサービング手段をオープンソース化した。まずトランスクリプトを完成させ、その後speaker diarizationを実行するパイプライン型システムとは異なり、この新モデルは、固定長の音声チャンク、少量の未来の音声、既に生成されたテキストと話者タグを、単一の自己回帰シーケンス内に交互に配置する。これにより、録音が継続的に入力される間も「誰が何を話したか」を直接出力できる。

公開checkpointでは、22 frame、約2.9秒の音声チャンクを採用し、さらに4 frame、約0.5秒のlookaheadを確保している。論文では、これに基づく話者帰属の期待遅延を2.00秒と算出している。アーキテクチャは低フレームレートの音響tokenizerと意味tokenizerを引き続き利用し、言語モデルによって過去の音声、テキスト、話者の状態を維持する。中国語、英語、日本語、韓国語を含む10言語に対応し、人名や専門用語をhotwordsとして入力することもできるため、会議字幕や複数話者対応の音声エージェントなど、リアルタイムで話者を識別する必要がある用途に適している。

著者らは、4種類の会議録音条件と9言語のMLC-Challengeにおいて、実運用中のストリーミングサービスと比較した。7B版は、5組の純粋な音声認識テストで平均WER／CERが最も低く、話者帰属を加えた場合も、13設定中12設定で単独首位または同率首位となった。Azure ConversationTranscriberと比べ、会議ベンチマークのcpWER／cpCERは2.39〜12.45ポイント改善した。ただし、これらは研究チームが特定の正規化手法とデータセットを用いて得た結果であり、各言語、ノイズ環境、ハードウェアコストを網羅した独立評価ではない。

現時点で、このモデルは重複する発話を単一の出力ストリームへ直列化することしかできず、複数人が長時間同時に話す状況では性能が大きく低下する。対応言語の拡張も、Qwen3 ForcedAlignerがサポートする範囲に制約される。エンジニアリングチームは次の段階として、初回チャンクおよび定常状態での遅延、GPUメモリ使用量、長時間の会議におけるドリフト、さらにhotwordsが一般語彙の認識精度を損なうかどうかを実環境で検証すべきだ。