Transformers 提出 GLM-5.3-Flash 精度修補，保留 mHC 關鍵參數為 FP32

Transformers 維護者於 11 月 5 日提出 PR #50413，修正 GLM-5.3-Flash 的混合精度載入行為：檢查點以 FP32 儲存的 mHC base 與 scale，在 BF16 載入流程中仍會被降為 BF16。截至查核時，提案仍處於開放狀態，不能視為正式版本已修復。修補提案

這項問題涉及模型架構中的 Manifold-Constrained Hyper-Connections。官方模型卡指出，GLM-5.3-Flash 採用 mHC，並結合稀疏與線性注意力；模型檔案也同時包含多種張量精度。因此，部署時除了確認整體 dtype，還須核對特定參數是否遵守原始檢查點的精度配置。官方模型卡

問題回報提供不需 GPU 的縮小模型重現流程：先將相關參數存成 FP32，再重新載入，結果 base 與 scale 變成 BF16。回報列出的環境涵蓋主分支開發版，以及 5.17.0、5.22.1。這能證明載入前後的型別不一致，但尚未量化完整模型的回答品質或基準分數差異。重現程式與環境

修補做法是在 _keep_in_fp32_modules_strict 中逐一加入注意力與前饋連接的 base、scale，而非將整個 mHC 模組強制保留為 FP32。這讓檢查點原本採 BF16 的 fn 維持其儲存精度；作者表示，共用精度測試已涵蓋這項區別。審查討論也提出，應透過小型模型推論檢查輸出，補足單看參數型別的驗證。實作與審查討論

對自行部署或微調的團隊，這提醒了混合精度驗證的具體落點：檢查載入後的參數型別，並固定提示、種子與生成設定比較輸出。後續應追蹤合併及套件收錄狀態，再以完整模型確認數值差異；目前證據不足以宣稱修補能提升準確率，也不能直接推定其他推論框架存在相同問題。