ホームへ戻る

GitHub Repo

Transformers、重複ペナルティの修正をマージ パディングトークンによる終了スコアへの影響を排除

Transformers は11月4日、attention maskで除外されるパディングトークンが反復ペナルティに含まれないようにする修正をマージした。異なる長さの系列を含むバッチで生じるEOSスコアの偏りに対処する変更で、正式リリースへの収録状況は別途確認が必要だ。

Marcus Qwertyus · Public domain · Image source
zh-Hant

Hugging Face Transformers は11月4日、重複ペナルティがパディングトークンを有効な履歴として扱う問題に対処する修正 #50149 をメインブランチにマージした。パディングと系列終端記号が同じトークンIDを共有している場合、同じプロンプトでも単独で生成するか、長さの異なる系列を含むバッチで生成するかによってEOSスコアが変わり、生成を停止するかどうかの判定に影響する可能性がある。マージ記録

問題は生成時のスコア処理にある。公式ドキュメントによると、RepetitionPenaltyLogitsProcessor はデフォルトでデコーダーモデルのプロンプト内容も対象にする。ペナルティ値が1より大きい場合、すでに出現したトークンが選ばれにくくなる。そのため、attention maskによってモデルがパディング位置を無視していても、後続の反復ペナルティ処理では、どの位置が有効な履歴なのかを判別する必要がある。生成ユーティリティのドキュメント

最初の報告では、左側パディング、pad_token_id == eos_token_id、ペナルティ値2.0の条件で問題を再現した。最小ケースでは、パディング位置を加えただけで同じ入力のEOSスコアが3.0から1.5に下がり、貪欲デコードで選ばれる次のトークンも変わった。ただし報告者は、事前学習済みモデルの一般的な生成テストでは同じ続きが出力され、制御されたEOSバイアスを加えた場合に初めて出力の違いが示されたとも明記している。Qwenのテストでも確認されたのはスコアの差だけであり、すべてのバッチ生成で問題が起きるとは結論づけられない。再現ケース

修正後も、実際のプロンプトと新たに生成されたトークンにはペナルティを適用し、マスクされたパディング位置は除外する。レビュー過程では、バッチ内の各要素に個別指定できる prompt_ignore_length が採用され、メインブランチのドキュメントにはテンソル形式の引数が記載されている。オフライン評価やバッチ推論を運用するチームにとって、この変更は回帰検証に加える価値がある。プロンプトと生成設定を固定し、単一入力と異なる長さの系列を含むバッチで、処理後のEOSスコア、出力長、停止理由を比較するとよい。これは不具合の仕組みに基づく検証案であり、現時点で確認できるのはメインブランチへのマージまでだ。デプロイ前に、インストール済みバージョンに修正が含まれているか確認する必要がある。レビューの議論、メインブランチのドキュメント

出典

  1. Trainer disables find_unused_parameters under any gradient checkpointing, not just reentrant #49443
  2. Transformers Trainer 開發版文件
  3. DistributedDataParallel — PyTorch 2.14 documentation
  4. Chunked prefill mishandles prefix-cache continuation — Transformers issue #49483
  5. Cache strategies — Transformers documentation
  6. SAM 3: text-only prompts drop the geometry CLS token that Meta's implementation always adds
  7. SAM3 — Transformers documentation
  8. apply_chat_template sanitize_control_tokens silently fails when a template prints a dict or list #50154
  9. Utilities for tokenizers:apply_chat_template
  10. Chat templates
  11. Support chat sanitization on processors #49609
  12. Mamba-1 多 token 快取接續缺陷與社群重現
  13. Transformers Mamba 實作
  14. Mamba 官方文件與 cache_params 語意
  15. Tokenizer — apply_chat_template
  16. Exclude attention-masked padding from repetition penalty — PR #50149
  17. RepetitionPenaltyLogitsProcessor 補齊 token 缺陷與重現案例 — Issue #50147
  18. Transformers 主分支生成工具文件