Transformers、エントロピー予算と候補トークン選別を補正するTop-Hサンプリング修正を提案

Transformersコミュニティは11月8日、TopHLogitsWarperのエントロピー計算方法を修正するPR #50471を提出した。これは、11月1日に報告された問題への修正案だ。ユーザーがdo_sample=Trueとtop_hを組み合わせてテキストを生成すると、既存の実装では、選択される候補トークンの集合がドキュメントに記載された規則と異なる場合がある。確認時点で提案はまだオープンであり、正式なパッケージで修正済みとは見なせない。修正提案

Top-Hは、エントロピーによってサンプリング範囲を制限するデコード手法だ。研究では、切り詰めサンプリングをエントロピー制約付きの最適化問題として定式化し、貪欲アルゴリズムで近似的に解く。目的は、生成の多様性と一貫性のバランスを調整することだ。確率分布の情報を使って候補を残す範囲を決めるため、パラメーターの実際の意味はエントロピーの計算方法に左右される。論文は今回の修正より前に公開されており、今週発表された新モデルや新研究ではない。Top-H論文

問題は2点ある。従来の実装は、確率が最も高い上位100個の候補だけを使ってエントロピー予算を計算し、語彙分布全体の裾野を無視していた。また、候補を残す範囲の判定には、再正規化されていない部分エントロピーを使っていた。報告者はTransformers 5.22.1で、モデルをダウンロードせずに再現できる例を示した。同じtop_h=0.4の設定でも、50語のZipf分布では6トークンが残り、参照規則では4トークンとなる。49,152語のケースでは8トークンしか残らず、参照値は25トークンだった。偏差の方向は分布によって異なる。問題報告と再現コード

提案では、分布全体を使って予算を計算するよう変更し、候補の接頭部分の累積確率質量に基づいてエントロピーを再正規化して求める。同時に、従来の候補数上限である100個は維持する。作者によると、関連するテストファイルの62項目が通過しており、さまざまな分布、マスク、半精度などのケースをカバーしている。エンジニアリングチームにとっては、同じサンプリングパラメーターでも修正の前後で結果が変わる可能性があるということだ。評価ではパッケージのバージョンを記録し、候補集合、出力品質、レイテンシを比較する必要がある。現時点の証拠が主に裏付けるのは規則との整合性であり、中国語生成や下流タスクの性能が改善したと結論づけるには不十分だ。テストの説明