Transformers 提出 MXFP8 專家解壓修補，處理 MoE 分組縮放載入錯誤

Transformers 維護者 ArthurZucker 於 11 月 5 日提出 PR #50387，修正 compressed-tensors 整合中 FP8 混合專家模型的權重解壓方式。截至查核時，提案仍為開啟狀態，尚不能視為主分支或正式套件已提供的修正。這項變更針對量化權重載入的相容性，對自行部署 MoE 模型的工程團隊具有直接參考價值。修補提案

作者指出，原有專家權重處理直接計算 quant * scale，遇到分組縮放時會出問題；提案列出的例子是 MXFP8 每 32 個數值使用一個以 uint8 儲存的 UE8M0 縮放因子。修補改為讓每個專家經過 compressor，沿用稠密層的解壓處理方式。從這個問題可看出，載入器除了辨識 FP8 權重，也必須正確解讀縮放資料的格式與分組規則。作者說明

驗證方面，作者以 INCModel2/Qwen3-30B-A3B-Instruct-2507-MXFP8-FP8ATTN-CT-AutoRound 為例，表示修補前發生載入錯誤，修補後相對 BF16 參考的 logits 相對誤差為 0.046。不過，頁面未交代完整測試輸入、誤差計算方式或下游任務成績，因此這個數值只能視為作者提供的局部驗證，無法推導出中文生成品質或其他模型的相容性。驗證摘要

官方文件說明，compressed-tensors 支援多種權重精度，以及 tensor、channel、group、block、token 等縮放策略；載入時也可選擇解壓成模型資料型別，或在適用路徑保留量化權重執行。這些差異意味著，檢查量化模型時應同時記錄量化設定、載入參數與套件版本，不能只憑「FP8」標籤判斷執行方式。官方文件

接下來應追蹤整合測試、審查及合併結果。使用相同格式的團隊可先建立小型載入與輸出比對案例，再驗證實際中文任務；目前公開證據尚不足以宣稱所有 MXFP8 MoE 模型都受影響，或這項修補能帶來推論加速。