Transformers 社群回報 Kimi Linear 快取缺陷，補齊位置可能改變後續推論狀態

Transformers 的 Kimi Linear 整合出現一項快取正確性回報：處理已有前綴快取的後續片段時，即使補齊位置的輸入全為零、遮罩也正確保留，這些位置仍可能改變有效輸出與下一個 token 使用的狀態。11 月 9 日提出的問題針對 5.23.0.dev0 開發版，附有不需下載權重的 CPU、FP32 層級重現程式。問題回報

這與 Kimi Linear 的架構有關。官方文件說明，其核心 Kimi Delta Attention（KDA）以逐通道遺忘閘控制循環狀態衰減，並與全注意力層混合。對這類運算而言，遮住輸入值仍不足以保證狀態停止更新；補齊位置也必須遵守狀態更新規則。架構文件

回報先快取六個位置，再比較三個有效位置有無補齊的結果。左側加入兩個補齊位置後，有效輸出的最大絕對差約為 1.31；右側補齊時，當前有效輸出近乎一致，下一個探測位置卻出現約 0.72 的差異。這些數字來自小型層級測試，不能解讀為完整模型的品質下降幅度。重現結果

另一名貢獻者回報重現，將原因拆成兩部分：補齊欄位進入卷積視窗，以及零輸入下的閘值仍讓循環狀態衰減或寫入。其調查亦指向 GLM5-Next、BailingHybrid 與 Qwen3-Next 的相關實作，但跨模型影響仍屬社群驗證。該留言指出，從空狀態開始的一般左側補齊生成未出現同樣問題。後續調查

對使用分塊預填或快取續接的工程師，值得加入的檢查是：以無補齊序列作為基準，同時比較當前輸出與續接結果。調查者指出，若基準本身也是同一批補齊資料，測試可能漏掉共同錯誤。截至查核，議題仍開啟且未連結修補；接下來須確認共享實作的修正範圍，以及 GPU 核心與完整生成是否受影響。議題狀態