KVDiagnosis、KVキャッシュ圧縮の失敗をサンプル単位で追跡し、正解から不正解に転じた12,520件の事例を公開

キング・アブドゥッラー科学技術大学（KAUST）のチームは、長文コンテキスト推論におけるKV-cache圧縮を対象とした、事例単位の診断ベンチマーク「KVDiagnosis」を公開した。一般的な評価では圧縮率、メモリ使用量、タスクの総合スコアしか報告されず、もともと正解していたサンプルがなぜ不正解に転じたのかを説明できない。さらに厄介なのは、手法ごとに「50%」の意味が異なり、tokenを半分保持する場合もあれば、チャネルを削減する、各層の予算を再配分する、数値精度を下げるといった場合もあり、同じバイト数を意味するわけではないことだ。

KVDiagnosisはまず、25種類の手法を5つのメカニズムに整理し、そのうち8種類の実装を実際に検証した。各データソースを最初にFullCacheで実行し、その後、同一のモデル、プロンプト、tokenizer、デコーダー、評価器を用いて、各手法を75%、50%、25%の設定で実行する。完全なマトリクスを凍結した後にのみ、FullCacheでは正解し、圧縮後に不正解となったC→W（Correct-to-Wrong）記録を抽出する。この設計により、ある圧縮器の失敗事例を他の手法への出題に流用することを避けられる。また、未対応、実行失敗、診断対象外のケースも、分母から消すのではなく明示的に保持する。

公開データは、バージョンを固定したQwen3-8Bと決定論的デコードを用いてRULER-8K、RULER-16K、Qasper、HotpotQAを評価したもので、2,600件のFullCache対照、59,800回の対応済み圧縮実行、12,520件のC→W記録を収録している。失敗の63.2%では、エビデンスのカバレッジが低いか部分的なものにとどまった。10種類の診断指標が失敗例と成功例を識別する際の層別AUROCは0.684～0.871だった。再現可能な低エビデンス・アテンション失敗96件について、エビデンスへのアテンションを4倍に高めると29.2%が修復された一方、回数を一致させた偽介入で修復されたのは6.3%にすぎず、限定的ながら因果関係を示唆する検証結果となった。

注目すべき点として、著者らは監査後にPyramidKVを除外した。従来のアダプターがSnapKVと同じ固定予算パスを誤って使用していたため、7,800組のペアで保持位置、出力、スコア、gold NLLがすべて一致していたからだ。現在、リポジトリではデータ、ハッシュ一覧、検証プログラム、監査記録が公開されている。ただし、結果は依然として単一の8Bモデルに集中しており、設定比率も異なるメカニズム間で同一ビット量のメモリを比較したものではない。したがって、エンジニアリングチームはこれを圧縮器の速度やサービスコストのランキングとして直接利用すべきではない。