Transformersコミュニティ、Granite Speechの出力スケーリング漏れを報告　サンプリングやファインチューニングに影響する可能性

Hugging Face Transformersコミュニティは10月23日、Granite Speechの数値異常を報告した。音声モデルのテキスト出力スコアであるlogitsが、同じテキスト重みを使うGranite言語モデルと比べて8倍になっていたという。報告者はTransformersとMLXの実装を比較して差を発見した。テスト環境はTransformers 5.20.2で、開発ブランチでも同じ挙動があると指摘している。技術報告

問題は、マルチモーダルモデルのリファクタリング後の出力処理にあるとみられる。報告者によると、5.9以前のGranite SpeechはGraniteForCausalLM全体をラップし、同クラスがスケーリングを実行していた。5.10で基盤となるGraniteModelを使い、lm_headを独自に接続する方式に変わった際、text_config.logits_scalingで除算する処理が抜けた。IBMが公開するGranite Speech 4.1 2B Plusの設定では、このパラメーターは実際に8に設定されている。モデル設定

この種の不具合は、生成テキストだけを比較するテストでは見逃される可能性がある。正の定数を掛けても各ステップで最高スコアのトークンは変わらないため、貪欲デコードでは同じテキストが生成される場合がある。一方、softmaxで確率に変換すると分布はより集中する。報告によると、サンプリング温度を1にした場合、正しくスケーリングしたときに比べて温度が8分の1であるのと同等の効果が生じる。また、ビームサーチのスコア、遷移スコア、ファインチューニングの損失にも影響する可能性がある。IBMのモデルカードに記載された評価の一部では、ビーム幅4のビームサーチと反復ペナルティを使っており、これらの経路は別途検証する価値がある。報告者の分析、IBMモデルカード

10月24日、別の参加者が小規模なランダムモデルを使い、CPU上でGranite Speechの8倍の差を確認した。また、特定のLlavaNextおよびAyaVisionのテキストバックボーン設定でも、同様のスケーリング漏れを発見した。これらのテストは数値処理経路に問題があることを裏付けるものの、正式な重みでの音声認識エラー率への影響はまだ定量化されていない。確認時点で議題は未解決で、修正PRやリリース版は記載されていない。エンジニアリングチームは、まずパッケージとモデルのバージョンを固定し、logits、損失、実際のデコード結果を比較できる。今後は、修正がSpeech Plusを対象に含むか、モデル間で出力の一貫性を検証するテストが追加されるかに注目したい。再現テストとその後の議論