AgenticASR、スライディングウィンドウで文字起こしを反復修正—1B Refinerが日中バイリンガル評価を79.95点に押し上げ

従来のストリーミングASRは逐語的な忠実性を重視するため、一般にフィラー、どもり、繰り返しや、話者が後から撤回した内容も保持する。さらに、セグメントごとに言語モデルへ渡して推敲すると、モデルが後続の訂正手掛かりを参照できない可能性がある。7月30日に公開されたAgenticASRは、ASR–Refinerを分離したアーキテクチャを採用する。フロントエンドの認識器が継続的にテキストを生成し、Refinerは直近の複数のソースブロックを統合してクリーンなテキストを再生成し、対応する既存の出力区間を直接置き換える。

デフォルトでは、システムが保持するアクティブブロックは3つだけであるため、計算量は音声全体の長さではなく、スライディングウィンドウのサイズによって決まる。RefinerはMiniCPM-5-1Bで初期化され、10万組の合成された話し言葉／書き言葉のテキストペアを用いて全パラメータをファインチューニングしている。研究ではQwen3-ASRおよび3種類の規模のWhisperにもそれぞれ接続し、このレイヤーが特定の認識器に依存しないことを示した。公開されたストリーミング実装には、VAD、sherpa-onnx、安定したチャンキング、MLX-LMが統合されており、ローカルバックエンドは現時点で主にmacOSを対象としている。

チームは同時にAASR-Benchも公開した。これは917件の中国語・英語サンプルと6,637項目のアトミックルールを収録し、内容保持、書式正規化、フィラー除去、自己訂正を個別に検査する。Qwen3-ASR-1.7BとAgenticASRの組み合わせは79.95点を記録し、Qwen3.5-Flashによる後処理の69.93点、およびフォーマルなテキストを直接生成するFormalASRの52.50点を上回った。平均エンドツーエンドレイテンシは9.59秒で、API後処理ベースラインは約60.89秒だった。著者らは、5種類すべてのASRフロントエンドで改善が見られたとも述べているが、性能の低いWhisperフロントエンドでは、内容保持が依然としてAPIベースラインを下回った。

制約として、テスト音声の大半がTTSで合成され、人間による録音は16.36％にすぎない点が挙げられる。また、ルールはQwen3.7-Plusで生成され、Gemma-4-31B-ITで採点されているため、モデル由来のバイアスが入り込む可能性も残る。エンジニアリングチームは次の段階として、実際の会議における発話の重なり、アクセント、ノイズ、超長時間ストリーミングを検証するとともに、テキストの修正によってカーソルが移動したり、下流のコマンドが繰り返しトリガーされたりするプロダクト上のリスクを測定すべきである。