Transformers 提出混合量化載入修補，避免未量化權重遭隨機初始化

Transformers 社群於 11 月 7 日提出 PR #50466，修補混合精度 compressed-tensors 檢查點的權重載入流程。相關問題於 11 月 6 日回報：部分原本保留未量化權重的模組，會被套用量化權重轉換規則，造成來源張量未被載入，目標參數轉而隨機初始化。截至查核時，提案仍未合併。問題回報

回報案例是 RedHatAI/GLM-5.3-Flash-NVFP4。其模型卡說明，NVFP4 量化只套用於 MoE 專家的線性運算權重與啟用值，並非全模型統一使用四位元精度。這類檢查點需要載入器逐模組保留不同表示方式；模型名稱中的量化格式，無法代表每個張量的儲存形式。模型卡

問題出在量化器依整份檢查點的設定，改寫權重轉換器的來源名稱。原本應讀取 .weight 的注意力 Q、K、V 卷積融合流程，改為尋找 weight_packed、weight_scale 等配套張量，因而漏接仍以普通權重儲存的資料。回報者在 5.22.1 與開發版本重現，載入報告出現來源權重為 UNEXPECTED、融合目標為 MISSING 的組合。重現與環境

修補提案先從分片索引或 safetensors 標頭取得實際張量名稱，再判斷各轉換器是否需要反量化；只有普通權重的來源則保留原轉換方式。作者另加入缺少縮放張量等錯誤檢查，並回報新增的十一項測試通過，涵蓋混合量化、INT4 解碼及儲存後重載。修補提案

對部署團隊而言，這提醒了量化驗證還必須檢查載入後的權重一致性。依回報機制推論，工程師應追查上述載入警告，並比對融合參數與來源張量。現有證據尚未量化完整模型的準確率損失，也不能推及其他推論框架；後續應關注維護者審查、完整整合測試與正式套件收錄情況。