Random Attention、プロンプトを保持した上でKV cacheをランダムに淘汰し、長時間推論でスコアリング方式を上回るスループット

長いchain-of-thought推論では、各層のattentionのKV cacheが出力とともに増え続ける。既存の淘汰手法は通常、attention weight、keyの統計値、または冗長性スコアを計算し、上位のtokenを保持する。Salesforce AI Researchなどのチームが提案した[Random Attention](https://arxiv.org/abs/2609.03430)は、その逆を行う。プロンプト全体と短期のrecent windowを固定的に保護し、それ以外の生成tokenを各KV head内で一様ランダムにサンプリングする。attention scoreやvalueの統計値を参照せず、モデルのキャリブレーションも不要なため、各ラウンドの処理は物理的なcache圧縮だけになる。

研究ではQwen3-4B、14B、32BとPhi-4-reasoningに加え、MATH-500、GPQA-Diamond、AIME、HMMT、LiveCodeBenchなど6種類の推論タスクを対象とした。同じcache予算では、ランダム戦略が全体としてSnapKV、R-KV、VaSE、TriAttentionと同等か、それ以上の結果を示した。著者らは、その理由を二重の冗長性で説明している。推論テキストでは、後で必要になる情報が繰り返し記述されることが多いうえ、同じtokenが複数のKV headに分散して存在する。問題文自体が淘汰されなければ、ランダムサンプリングでも通常は十分なコピーが残る。一方、合成実験では、一度しか現れない事実を単一のheadだけに保持した場合、ほとんど確実に取り出せなかったが、複数のheadに保持すると成功率が急速に上昇した。

実際のservingテストでは、H200を1基、vLLM 0.19、1K-tokenのプロンプト、32K-tokenの出力、K=2048という構成を使用し、128件のリクエストを並行処理した。Random Attentionは4つのモデルでfull attentionの1.58〜2.67倍のスループットを達成し、同じpaging、スケジューリング、圧縮kernelを使用するTriAttentionを32〜43%上回った。その理由はサンプリング自体が大幅に高速だからではない。スコアリング処理がpaged cache上でblock tableをまたいで繰り返しデータを読み込み、数万回に及ぶ同期圧縮によってバッチ全体に待ち時間が生じるためだ。

これは「ランダム方式が常にコンテンツ選択方式より優れている」という結論ではない。出力が8K tokenにとどまり、memoryではなくcomputeがボトルネックになる場合、圧縮戦略のスループットはfull attentionの0.52〜0.96倍にすぎなかった。長いコードプロンプトも予算の大半を消費する可能性があり、繰り返されない一度限りの事実には、依然としてcontent-awareな保護が必要となる。公開されている[Apache-2.0ライセンスのライブラリ](https://github.com/SalesforceAIResearch/Random-Attention)には、評価、統計的有意性検定、vLLM portが含まれている。ただし、性能値は依然としてH200、特定のモデル、prefix cachingを無効にした設定に集中している。導入担当者は、プロンプト長、生成長、並行処理数、ハードウェアに応じて、まずbenchmarkを再実行すべきだ。