GitHub Repo
vLLM 社群追查 NVFP4 快取布局缺口，交錯儲存可能造成資料與縮放值重疊
10 月 12 至 13 日的 vLLM 社群回報指出，NVFP4 KV 快取在特定 token-major 布局下可能讀寫錯位，另有參與者重現核心層級的資料重疊。問題尚待維護者釐清支援範圍，不能直接推定所有正式部署均受影響。
vLLM 社群於 10 月 12 日提出 NVFP4 KV 快取異常回報，隔日另一位參與者補上獨立核心測試。討論焦點是 BLNHC 的 token-major 實體布局：當 K、V 與量化縮放資料交錯儲存時，寫入與讀取端對位元組位置的理解可能不同。原回報稱，特定 QSA 模型部署仍能回傳 token，卻出現答案失去連貫性的情況。社群回報與重現
KV 快取量化的用途，是降低推論期間保存注意力狀態的記憶體成本，增加可容納的 token 數。這項優化同時要求數值資料與縮放係數保持正確對應。vLLM 的 NVFP4 輔助函式文件明定，每個 K 或 V 區域內，資料與縮放值應各自連續打包；呼叫端須先從合併快取切出兩側。因此，張量形狀符合要求，仍不足以證明實體儲存布局相容。量化快取文件、NVFP4 API 文件
10 月 13 日的參與者在 RTX 5090 上、不載入模型的條件下，重現 NVFP4 寫入再讀出的誤差，並指出問題可能超出寫入端步幅計算：讀取輔助函式建立的資料與縮放視圖，本身也可能指向同一位元組。這表示只調整寫入端，未必足以修正交錯布局。該測試提供的是運算核心與儲存契約的證據，尚未驗證完整模型服務。測試與限制
影響範圍仍有關鍵疑點：參與者指出，相關 QSA NVFP4 整合提案尚未合併，主分支的 QSA 型別清單也未宣告支援 NVFP4。工程師應先核對實際整合路徑，再以配置器產生的布局測試資料往返；後續須觀察維護者如何界定支援契約，以及是否在初始化時拒絕不相容布局。現有回報不足以把問題概括為所有 NVFP4 模型的生成缺陷。支援範圍討論