GitHub Repo
Transformers 合併重複懲罰修補,排除補齊 token 對結束分數的干擾
Transformers 於 11 月 4 日合併生成修補,避免將注意力遮罩排除的補齊 token 納入重複懲罰。變更處理混合長度批次中的 EOS 分數偏差,正式套件是否收錄仍須核對。

Hugging Face Transformers 於 11 月 4 日將修補 #50149 合併至主分支,處理重複懲罰把補齊 token 當成有效歷史的問題。當補齊與序列結束符號共用 token ID,同一提示單獨生成或放入不同長度的批次,可能得到不同的 EOS 分數,影響停止生成的判斷。合併紀錄
問題出在生成階段的分數處理。官方文件說明,RepetitionPenaltyLogitsProcessor 預設也會計入解碼器模型的提示內容;懲罰值大於一時,會壓低已出現 token 的選取傾向。因此,注意力遮罩即使讓模型忽略補齊位置,後續的重複懲罰仍須辨識哪些位置屬於有效歷史。生成工具文件
原始回報以左側補齊、pad_token_id == eos_token_id 與懲罰值 2.0 重現。最小案例中,相同輸入分數只因加入補齊位置,EOS 分數便從 3.0 降為 1.5,貪婪解碼的下一個 token 隨之改變。不過,作者也明確指出:預訓練模型的一般生成測試仍產生相同續文,加入受控 EOS 偏置後才展示輸出分歧;Qwen 測試亦只有分數差異,不能推論所有批次生成都會出錯。重現案例
修補保留真實提示及新生成 token 的懲罰,排除被遮罩的補齊位置。審查過程改用可按批次元素指定的 prompt_ignore_length,主分支文件已列出張量形式的參數。對維護離線評測或批次推論的團隊,這項變更值得納入回歸驗證:固定提示與生成設定,比較單筆及混合長度批次的處理後 EOS 分數、輸出長度與停止原因。這是依缺陷機制提出的驗證方向;目前確認的是主分支合併,部署前仍應核對安裝版本是否包含修補。審查討論、主分支文件
來源
- Trainer disables find_unused_parameters under any gradient checkpointing, not just reentrant #49443
- Transformers Trainer 開發版文件
- DistributedDataParallel — PyTorch 2.14 documentation
- Chunked prefill mishandles prefix-cache continuation — Transformers issue #49483
- Cache strategies — Transformers documentation
- SAM 3: text-only prompts drop the geometry CLS token that Meta's implementation always adds
- SAM3 — Transformers documentation
- apply_chat_template sanitize_control_tokens silently fails when a template prints a dict or list #50154
- Utilities for tokenizers:apply_chat_template
- Chat templates
- Support chat sanitization on processors #49609
- Mamba-1 多 token 快取接續缺陷與社群重現
- Transformers Mamba 實作
- Mamba 官方文件與 cache_params 語意
- Tokenizer — apply_chat_template
- Exclude attention-masked padding from repetition penalty — PR #50149
- RepetitionPenaltyLogitsProcessor 補齊 token 缺陷與重現案例 — Issue #50147
- Transformers 主分支生成工具文件