Transformers 社群回報 RoPE 初始化缺口，部分長上下文設定遇空值即失敗

Transformers 於 10 月 21 日收到一項長上下文設定相容性回報：當模型設定含有 head_dim=None，部分 RoPE 計算與驗證程序未正確推導注意力頭維度，直接因型別錯誤中止。回報環境為主分支開發版 5.21.0.dev0、CPU 版 PyTorch；目前不能據此認定所有穩定版本均受影響。問題回報

回報者以單層、小尺寸 Mixtral 建立重現案例，比較五種旋轉位置嵌入設定。標準與線性縮放路徑可完成前向運算，Dynamic 與 YaRN 在建立模型時失敗，LongRoPE 則更早於設定驗證階段出錯。案例不需下載大型權重，方便開發者區分設定處理問題與顯示記憶體、權重載入等部署因素。重現程式與輸出

問題核心是 Python 屬性預設值的語意。相關程式使用 getattr 讀取頭維度，並提供隱藏維度除以注意力頭數作為備援；但屬性存在且值為 None 時，備援不會生效。後續將空值乘上旋轉比例便觸發錯誤。回報指出，其他 RoPE 路徑已有處理空值的寫法，並提出統一推導方式的修補方向。根因說明

這項缺口與長上下文部署有直接關聯。官方文件將 Dynamic、YaRN、LongRoPE 列為支援的縮放變體，由 rope_parameters 選擇並提供各自參數。工程上的意義是：同一模型能以預設設定啟動，仍不足以證明更換位置嵌入設定後可以運行；設定驗證、模型初始化與實際前向運算都需要覆蓋。官方 RoPE 文件

截至查核時，這仍是附有重現材料的社群回報。回報者另列 Ministral、MiniMax、HunYuan 等可能涉及相同設定形式的模型，但公開案例主要展示 Mixtral，不能將其視為逐一驗證的受影響清單。接下來應觀察維護者確認、修補合併與版本收錄情況；即使初始化問題修復，長上下文品質仍須另外評估。回報狀態