Transformers 提出量化權重載入重整，將解壓縮提前至載入階段

Hugging Face Transformers 協作者 ArthurZucker 於 11 月 2 日提出 PR #50238，調整 compressed-tensors 檢查點的載入方式：透過權重轉換映射完成解壓縮，預設載入後直接取得稠密權重，不再等到第一次前向運算才解開。這仍是待審查提案，尚不能視為正式版本的新行為。提案說明

這項變更牽涉模型檔案格式與執行精度的區別。依官方文件，compressed-tensors 可儲存 FP8、INT4 等壓縮權重；目前預設流程會保留壓縮資料，在首次前向運算時解壓縮。使用者也能設定 dequantize=True，於載入時還原為模型資料型別，例如 BF16；若要維持 FP8 並使用加速核心，則須明確啟用 use_optimized_inference=True。載入模式文件

提案的具體切入點，是檢查點權重名稱在載入時需要重新映射的情況。作者以 MXFP8 Dory 為例，回報新流程沒有非預期鍵值，生成結果與 BF16 對照一致。修補也避免對未壓縮檢查點強制啟用反量化，保留僅量化 KV 快取模型所需的尺度參數；W8A8 在指定反量化時，則停止量化啟用值。這些結果目前來自作者說明。修補細節

對部署工程師而言，值得追蹤的是載入完成與首次推論之間的工作分配。依上述設計推論，若解壓縮提前，啟動時間、首次請求延遲與載入後記憶體量測的解讀都可能改變；但提案沒有提供相關效能數字，不能據此宣稱推論加速。

截至查核，PR 仍開放並等待審查，CI 留言列出一項反量化測試新增失敗，也尚未看到後續全數通過的結果。採用前應追蹤測試狀態，並以自己的檢查點驗證名稱映射、尺度參數與輸出一致性。審查與 CI 狀態