Transformers 提出逐層量化設定，探索同一模型混用 NVFP4 與 FP8

Hugging Face Transformers 協作者 ArthurZucker 於 11 月 2 日提交逐層量化設定提案，嘗試讓同一份模型檢查點中的不同模組，分別透過對應的量化器載入。這項改動針對的是混合量化格式的載入能力；截至查核時，PR 仍開放，頁面未列出審查意見。提案內容與狀態

提案以 quantization_config={glob: config} 表達設定，沿用 dtype plan 的名稱匹配方式，將不同層交給各自的量化器；已量化的 NVFP4 權重則經由 deserialize 操作載入。作者表示，已使用小型隨機 Mistral4 模型測試，其中注意力與專家模組採 FP8，共享專家採 NVFP4。這提供了混合格式的功能測試案例，但不能當成正式模型品質或速度的證據。作者說明

現行官方文件說明，預先量化的檢查點會在 config.json 保存量化設定，由 from_pretrained 選擇對應量化器；不同方法另有函式庫依賴。量化本身也涉及記憶體、速度與準確度的取捨，降低位元數不代表所有硬體都能取得相同收益。官方量化文件

從工程角度推論，逐層設定若能成熟，將讓開發者更容易表達不同模組的精度需求，減少為混合格式另寫載入流程的負擔。不過，載入成功只是第一步，仍須檢查模組名稱匹配、權重格式與執行核心是否一致，並用目標工作負載衡量效果。

目前這份 PR 的合併目標仍是另一個開發分支，作者也註明 FP8 專家依賴額外的核心支援。接下來應觀察相關依賴是否到位，以及是否出現完整模型的精度、峰值記憶體與吞吐量測試；現有公開資訊尚不足以支持部署效能改善的結論。依賴與開發分支資訊