TransformersコミュニティがKimi Linearのキャッシュ不具合を報告、パディングで後続推論状態が変化する可能性

TransformersのKimi Linear統合で、キャッシュの正確性に関する問題が報告された。プレフィックスをキャッシュした状態で後続のチャンクを処理すると、パディング位置の入力がすべてゼロで、マスクも正しく適用されていても、それらの位置によって有効な出力や次のトークンに使われる状態が変わる可能性がある。11月9日に報告されたこの問題には、重みのダウンロードを必要としないCPU・FP32レベルの再現コードが添えられている。対象は開発版の5.23.0.dev0だ。問題報告

この問題はKimi Linearのアーキテクチャに関係している。公式ドキュメントによると、中核となるKimi Delta Attention（KDA）は、チャネルごとの忘却ゲートで再帰状態の減衰を制御し、フルアテンション層と組み合わせている。この種の演算では、入力値をマスクするだけでは状態の更新を止められるとは限らない。パディング位置も状態更新の規則に従う必要がある。アーキテクチャのドキュメント

報告者はまず6つの位置をキャッシュし、パディングのない場合と、3つの有効位置にパディングを加えた場合を比較した。左側にパディング位置を2つ加えると、有効出力の最大絶対差は約1.31だった。右側にパディングを加えた場合、現在の有効出力はほぼ一致したものの、次の位置で行ったプローブでは約0.72の差が生じた。これらの数値は小規模なレベルのテストによるもので、モデル全体の品質低下の大きさを示すものではない。再現結果

別のコントリビューターも再現を報告し、原因を2つに分けて説明した。パディング位置が畳み込みウィンドウに入ることと、入力がゼロでもゲートによって再帰状態の減衰や書き込みが起きることだ。調査では、GLM5-Next、BailingHybrid、Qwen3-Nextの関連実装にも影響する可能性が示されたが、複数モデルへの影響はまだコミュニティによる検証段階にある。また、このコメントによると、空の状態から始める通常の左側パディング付き生成では、同じ問題は確認されなかった。追加調査

チャンク単位のプレフィルやキャッシュからの継続処理を使うエンジニアは、パディングのないシーケンスを基準にし、現在の出力と継続後の結果の両方を比較するとよい。調査者は、基準にも同じパディングデータを使うと、共通する不具合を見逃す可能性があると指摘している。確認時点で議題は未解決で、関連する修正へのリンクもない。今後は、共通実装の修正範囲と、GPUカーネルおよび完全な生成処理への影響を確かめる必要がある。議題の状況