返回首頁

GitHub Repo

Transformers 合併重複懲罰修補,排除補齊 token 對結束分數的干擾

Transformers 於 11 月 4 日合併生成修補,避免將注意力遮罩排除的補齊 token 納入重複懲罰。變更處理混合長度批次中的 EOS 分數偏差,正式套件是否收錄仍須核對。

Marcus Qwertyus · Public domain · Image source
zh-Hant

Hugging Face Transformers 於 11 月 4 日將修補 #50149 合併至主分支,處理重複懲罰把補齊 token 當成有效歷史的問題。當補齊與序列結束符號共用 token ID,同一提示單獨生成或放入不同長度的批次,可能得到不同的 EOS 分數,影響停止生成的判斷。合併紀錄

問題出在生成階段的分數處理。官方文件說明,RepetitionPenaltyLogitsProcessor 預設也會計入解碼器模型的提示內容;懲罰值大於一時,會壓低已出現 token 的選取傾向。因此,注意力遮罩即使讓模型忽略補齊位置,後續的重複懲罰仍須辨識哪些位置屬於有效歷史。生成工具文件

原始回報以左側補齊、pad_token_id == eos_token_id 與懲罰值 2.0 重現。最小案例中,相同輸入分數只因加入補齊位置,EOS 分數便從 3.0 降為 1.5,貪婪解碼的下一個 token 隨之改變。不過,作者也明確指出:預訓練模型的一般生成測試仍產生相同續文,加入受控 EOS 偏置後才展示輸出分歧;Qwen 測試亦只有分數差異,不能推論所有批次生成都會出錯。重現案例

修補保留真實提示及新生成 token 的懲罰,排除被遮罩的補齊位置。審查過程改用可按批次元素指定的 prompt_ignore_length,主分支文件已列出張量形式的參數。對維護離線評測或批次推論的團隊,這項變更值得納入回歸驗證:固定提示與生成設定,比較單筆及混合長度批次的處理後 EOS 分數、輸出長度與停止原因。這是依缺陷機制提出的驗證方向;目前確認的是主分支合併,部署前仍應核對安裝版本是否包含修補。審查討論、主分支文件

來源

  1. Trainer disables find_unused_parameters under any gradient checkpointing, not just reentrant #49443
  2. Transformers Trainer 開發版文件
  3. DistributedDataParallel — PyTorch 2.14 documentation
  4. Chunked prefill mishandles prefix-cache continuation — Transformers issue #49483
  5. Cache strategies — Transformers documentation
  6. SAM 3: text-only prompts drop the geometry CLS token that Meta's implementation always adds
  7. SAM3 — Transformers documentation
  8. apply_chat_template sanitize_control_tokens silently fails when a template prints a dict or list #50154
  9. Utilities for tokenizers:apply_chat_template
  10. Chat templates
  11. Support chat sanitization on processors #49609
  12. Mamba-1 多 token 快取接續缺陷與社群重現
  13. Transformers Mamba 實作
  14. Mamba 官方文件與 cache_params 語意
  15. Tokenizer — apply_chat_template
  16. Exclude attention-masked padding from repetition penalty — PR #50149
  17. RepetitionPenaltyLogitsProcessor 補齊 token 缺陷與重現案例 — Issue #50147
  18. Transformers 主分支生成工具文件