GitHub Repo
Transformers 社群回報 FP8 反量化邊界錯誤，部分權重可能載入失敗或數值錯置
10 月 22 日的 Transformers 社群回報指出，FP8 權重末端區塊不足 128 列時，反量化可能失敗或套用錯誤縮放值。回報附有 CPU 重現程式，但尚無可核實的正式修復版本。
Transformers 社群於 10 月 22 日提出 FineGrainedFP8 反量化問題：當權重矩陣的維度不是量化區塊大小的整數倍，載入流程可能拋出例外；部分形狀則會通過檢查，卻還原出錯誤數值。回報者在 5.17.0 執行 CPU 重現測試，並指出 5.20.2 與當日主分支仍含相同邏輯。這是附有程式與輸出的社群回報，尚不能視為所有相關模型部署都已確認受影響。問題回報
官方文件說明，Fine-grained FP8 預設以 128×128 區塊量化權重，並將啟用值按每個 token 的群組量化，支援 DeepSeek-V3、R1。區塊各有縮放值，因此反量化必須讓每個元素對應到原先的區塊；工程上，末端不足一整塊的情況也必須保留相同邊界。官方技術文件
回報指出，目前程式以權重列數除以縮放網格列數，反推區塊大小。DeepSeek-V3／R1 的一個投影矩陣有 576 列，按 128 列分塊需要五組縮放值，最後一塊只有 64 列；576 無法被五整除，便觸發載入錯誤。另一個 192 列、兩組縮放值的測例雖能整除，卻被誤判為每塊 96 列，使縮放值套用位置偏移。重現與根因分析
對工程團隊而言，這提示跨硬體部署時應驗證反量化後的張量，不能只看模型是否成功載入。原生 FP8 執行與轉回較高精度可能走不同程式路徑，單一路徑通過測試不足以涵蓋另一條路徑。回報者建議優先讀取設定中的區塊尺寸，再展開縮放值並裁切至權重形狀，但混合區塊格式仍有待釐清。後續應追蹤維護者確認、修補合併及正式版本，並以參考反量化結果檢查邊界區塊；目前沒有證據可量化此問題對實際生成品質的影響。修補構想與限制