ReCo、ステップ報酬でKV cacheと推論長を協調制御し、エンドツーエンドのレイテンシを2倍超改善

大規模推論モデルのコストは、増え続けるKV cacheだけでなく、cache圧縮後にモデルが補償的な推論をより多く生成することにも起因する。8月5日に提出されたReCoは、このため「cacheをどれだけ削除するか」だけを目標とせず、軽量なプロセス報酬推定器で完了済みの各推論ステップを評価し、保持するコンテキストとその後の生成挙動を同時に制御する。

この手法は、相互に協調する3つのコンポーネントで構成される。第1に、reward-adaptive KV-cache compressionは、報酬が高く推論状態が比較的安定しているステップではcacheをより積極的に縮小し、報酬が低く、まだ前の文脈を参照する可能性がある場合には、より多くの情報を保持する。第2に、システムは報酬区間に応じて振り返り系tokenにペナルティを科し、モデルによる言い換え、再確認、無効な推論の引き延ばしを減らす。第3に、推定された信頼度が十分に高い場合は早期終了する。著者らの中心的な観察によると、同じtoken budgetを削減する場合でも、高報酬のステップで削除する方が、ランダムな位置で削除するより回答精度を維持しやすい。また、cacheだけを圧縮して生成を制約しなければ、出力が長くなって節約分が相殺される可能性がある。

3つの推論モデルと6つのベンチマークにおいて、ReCoは完全なChain-of-Thoughtと比べて生成token数を37%～65%削減した。エンドツーエンドのレイテンシは従来の約半分となり、2.08～2.35倍の高速化が報告される一方、精度はおおむね維持された。推論サービスにとって、これはKV cache管理とデコード戦略を相互に無関係な2組のルールで制御すべきではないことを示唆している。

ただし、論文には現在も改訂中であることが明記されており、ページ上では公開実装も提供されていない。プロセス報酬推定器自体の計算コスト、誤った評価による過剰な圧縮、さらにcontinuous batching、量子化cache、高並行性サービスにおけるtail latencyについては、今後の外部検証が必要だ。エンジニアリングチームは、コード、モデル別の精度、ハードウェア構成が公開されるのを待ってから、2倍の高速化を本番環境にも適用できるか判断すべきだ。