Open ASR Leaderboardがヒンディー語とインド英語に対応、表記揺れを扱う参照ラティスでWERの偏りを是正

Open ASR LeaderboardにMonsoon en-INとhi-INが追加され、主要なオープン音声認識評価にヒンディー語とインド英語が初めて組み込まれた。データは2チャンネルの台本なし会話から収集され、単一話者による短いセグメントへ分割されている。相互に重複しない4つの公開・非公開分割で、合計4,888人の話者、17時間の音声、数百の地域と携帯電話機種を網羅する。[リリースノート](https://huggingface.co/blog/open-asr-leaderboard-global-south)によると、各セグメントには年齢、性別、学歴、職業、出身地域、録音デバイスなど12の属性が付与されており、研究者は単一の平均値だけでなく、グループ単位で誤り率を分析できる。

今回、技術的に最も重要な変更はヒンディー語のスコアリングである。日常的なヒンディー語には英語からの借用語、コードミキシング、複合語の分かち書きの違いが多く、同じ発話に対して複数の妥当なデーヴァナーガリー表記が存在し得る。正解を1つしか用意しない場合、従来のWERはモデルがアノテーターの表記を模倣するほど有利になる。そのためMonsoon hi-INでは、各テキスト区間について許容可能な異表記をlatticeとして保持し、Orthographically-Informed WERを用いて有効なアラインメントを探索する。チームは実装の`voi-oiwer`も公開した。ラティスを単一の参照にフラット化すると、すべてのモデルで誤り率が上昇するだけでなく、一部のモデルでは順位も入れ替わる。

グループ別の結果からは、総合スコアがデプロイ時のリスクを覆い隠す可能性も示された。インド英語の公開セットでは8モデルの総合WERの差がわずか0.18ポイントだった一方、地域間の差はWhisper Large V3 Turboで0.46ポイント、Voxtral Mini 3Bでは1.68ポイントに達した。インド英語の結果はすでにデフォルトの平均スコアへ組み込まれている。非公開分割での評価はメンテナーが実行し、公開サンプルに特化したチューニングの余地を抑える。リーダーボードのコードは[Apache 2.0ライセンスで公開](https://github.com/huggingface/open_asr_leaderboard)されており、公開データを使って独自に再実行することもできる。

制約として、このデータは話者の多様性を意図的に重視しており、1人当たりの音声は通常数秒しかない。このため、長文の文字起こし、ストリーミング遅延、話者の継続性に関する推論には適していない。ヒンディー語のサンプルも、実際の使用人口が多いヒンディー語圏に集中している。今後は、より多くのモデルが提出された後もラティスベースのスコアリングが安定するか、非公開セットがbenchmark fittingに耐えられるか、さらに同様の設計を表記揺れのある他の言語へ拡張できるかが注目される。