HIVE、音声文字起こしはキーボードのタイプミスよりLLMの推論を損なうと確認—思考予算を増やしても回復せず

音声エージェントは通常、自動音声認識（ASR）の出力をそのまま言語モデルに渡すが、システム評価の多くはノイズのないテキストプロンプトを使用している。8月4日に公開された研究では、Human Input-Variation Engine（HIVE）が提案された。HIVEは、QWERTYキーボードの入力ミス、一般的な音声文字起こしに含まれる非流暢性、AIディクテーションツールによる文の圧縮と再構成を個別にシミュレートし、入力チャネルが命令モデルの性能をどのように変化させるかを測定する。

著者らによると、テスト対象となったすべてのinstruction-tuned modelで、音声文字起こしの摂動によって正答率が低下した。主な問題は「えーと」などのフィラーが加わることではなく、文字起こしの過程で元の文構造が書き換えられることにある。キーボードのタイプミスによる影響は比較的小さく、モデルは重要なtokenが壊されるまでは、かなりの表層的なノイズに耐えられた。研究は、両チャネルに共通する失敗要因として「摂動後も元の問題のtokenがどれだけ保持されているか」を挙げている。余分なtokenの挿入によるコストは通常限定的だが、既存のtokenの削除や破損は結果を大きく悪化させる。

チャネル間の差は、主にモデルが答えを自ら構築または導出する必要があるタスクで現れた。答えが多肢選択の選択肢にすでに含まれている場合、明確な差は見られなかった。著者らは、より大きなthinking budgetについても検証した。その結果、キーボード入力の摂動による性能低下はほぼ回復した一方、音声文字起こしでは改善せず、圧縮型の音声入力では推論量を増やすことでかえって性能が悪化する可能性さえあった。軽量な適応学習でも問題は解消されなかったため、少量のノイズ入りデータを追加すれば解決できると単純に仮定することはできない。

音声エージェントのエンジニアにとって、ASRの単語誤り率（WER）だけでは下流リスクを十分に表せない。同じ誤り率でも、否定語、条件、エンティティが削除された場合の影響は、冗長な語が追加された場合よりはるかに大きい。より実用的な防御策は、元の文字起こしと正規化済みバージョンの両方を保持し、信頼度の低い箇所を明示したうえで、ツールを実行する前に重要なパラメーターをユーザーに確認してもらうことだ。もっとも、これは現時点では単一のプレプリントに基づく結果であり、要約には言語横断的な検証結果が示されていない。中国語の分かち書き、同音異義字、主語の省略は異なる失敗パターンを生む可能性があり、公開コードと完全なデータセットを用いた追加検証が必要だ。