ASR Benchmark Fitting、3種類のプローブで「答えの暗記」を定量化。一部モデルは誤った参照トランスクリプトを18～30%の確率で再現

11種類のオープンソース音声認識モデルを対象とした新たな研究は、曖昧な「benchmark contamination（ベンチマーク汚染）」の問題を、実行可能な行動テストとして再定義した。研究者は3種類のプローブを設計した。まず、VoxPopuliの音声と参照トランスクリプトが矛盾する区間を特定する。次に、LibriSpeechまたはVoxPopuliに含まれる数字を無音化し、それでもモデルが元の正解を補完するかを確認する。最後に、「Mr.／Mister」のように発音は同じだが表記が異なる形式を利用し、モデルがデータセットの音響的手掛かりに応じて、そのテストセットで好まれる綴りへ切り替えられるかを観察する。

結果によると、公開リーダーボードでWERが低い一部のモデルほど、誤った参照トランスクリプトを複製する頻度が高かった。研究チームは調査対象の範囲内で、VoxPopuliのテスト区間の約40%に参照の誤りが含まれる可能性があると判定した。これは参照単語の約3%に相当する。benchmark-conditionedな挙動を示すモデルは、18～30%の確率で誤った参照トランスクリプトを選択した。対象の数字を完全に無音化した場合でも、複数のモデルは公開データセット上で40%近い完全一致の補完率を示した。また、11モデル中6モデルは、敬称の綴りを切り替えるテストで、ランダム切り替えのベースラインである0.5を有意に上回った。

メカニズムに関する実験では、トリガーとなるシグナルがテキストデコーダーだけに存在するわけではないことも示された。同じ文を維持しつつ、新たに録音した議会風の音声または一般的な合成音声へ置き換えると、正解を複製する傾向は通常低下した。元の音声区間の後ろに8秒間の一般会話を追加した場合も、複数のモデルが音声により忠実な出力へ戻った。著者らは低ランク線形steeringによってこの挙動を変えることにも成功しており、モデルが限定的な声質、録音環境、データソースの特徴から「これはどのbenchmarkか」を判定している可能性が示唆される。

Hugging Faceは、参照トランスクリプトとの乖離および正書法の切り替えに関する指標をOpen ASR Leaderboardへ追加し、評価コードと正規化前の出力も公開した。エンジニアリングチームがモデルを選定する際は、新規録音、時間分割、話者分離を用いた非公開テストセットを、WERと並行して評価すべきである。重要な制約として、この研究が対象としたのは主要な英語データセット2件と11モデルのみである。正解を知っているかのような挙動は、訓練データ、fine-tuning、モデル選択、またはデータ分布のshortcutに起因する可能性があり、スコアだけを根拠に、開発者がテストセットを直接訓練データへ組み込んだと断定することはできない。