Transformers 5.21.1 修補 RoPE 設定退化，恢復部分 vLLM 模型載入

Hugging Face 於 10 月 29 日發布 Transformers 5.21.1，修補 5.21.0 引入的模型載入退化。維護者在發布說明中明確指出，前版破壞了 vLLM 的遠端程式碼載入；新版已同步提供 PyPI 套件，使用者不必等待主線開發版本。發布說明、PyPI 套件

根因是 rope_scaling 屬性在被賦值時，立即執行 RoPE 參數正規化。部分自訂設定類別會先設定這個欄位，再完成父類別初始化；此時其他參數可能尚未就緒。正規化若提早加入字典鍵值，會使嚴格檢查欄位的驗證器拒絕設定；也可能在 rope_theta 尚未賦值時寫入空值，或讀取尚不存在的最大位置長度。修補將這項處理延至初始化完成後，保留初始化後重新設定參數時的正規化行為。修補討論

這類錯誤會跨越函式庫邊界。依 vLLM 官方文件，服務啟動時先讀取 config.json，部分模型再透過 Transformers 的 AutoConfig.from_pretrained 建立設定物件；使用遠端自訂類別時，還涉及模型儲存庫內的設定程式。因此，即使推論核心與模型權重沒有改動，設定層的初始化順序變更仍可能阻擋服務啟動。vLLM 整合文件

驗證範圍仍須分清楚：修補者回報相關測試有 462 項通過、389 項跳過，並確認指定 EAGLE3 設定恢復正確的 rope_theta，Step5 設定也能再次建立。這些結果支持此次相容性修復，但不等於所有模型均已完成端到端推論驗證，也沒有提供吞吐量改善證據。測試紀錄

對已升級至 5.21.0、隨後遇到設定驗證或 RoPE 初始化錯誤的團隊，5.21.1 是可評估的修補版本。工程上應在既有依賴約束內，重跑實際模型的冷啟動與短推論，並保留模型修訂版本供比對；後續值得追蹤的是下游整合測試，以及自訂設定類別對初始化時序的依賴。