KVMem、エージェント履歴をメモリとNVMeへページングし、24GBのノートPC向けGPUで100万tokenのワークスペースをアドレス可能に

長時間稼働するコーディングエージェントは、会話、ツール出力、ファイル内容を蓄積していく。履歴がモデルのコンテキストウィンドウやGPUのKV cache容量を超えた場合、一般的には古い内容を要約するか、必要になった時点でテキストを再検索して再度prefillする。KVMemは別の手法を提案している。完了済みのattention計算から得られたKVブロックを仮想メモリのページとして扱い、GPU、メインメモリ、NVMeに階層化して保存する。そして現在のクエリからattention空間インデックスを構築し、関連するブロックだけを時系列順に限られた実行ウィンドウへ戻す。

論文では、LongMemEval、MemoryAgentBench、AgentLongBench、およびDeepSWEの長コンテキストテストを用いて評価している。作者らによると、Qwen3.8-27Bを使用したDeepSWEの設定では、タスク成功率が圧縮のみを使用した場合の43.8%から48.4%へ向上した。さらに、NVFP4 weights、MTP、24GBのRTX 5090 Laptop GPUを使用した場合、モデルネイティブの256Kウィンドウの4倍に相当する100万tokenのワークスペースをアドレスでき、単一セッションで約50 token/秒を生成できるという。ここでいう「100万token」とは検索可能な論理履歴を指し、モデルが一度に全tokenへ完全なattentionを実行するという意味ではない。

公開されているQW3ランタイムには、CUDA kernels、paged KV、continuous batching、MTP、およびOpenAI／一部Anthropic互換エンドポイントが含まれる。デプロイ担当者は、履歴選択の予算、生成用の予約領域、NVMe容量を個別に設定できる。ただし現時点では、主にQwen3.6、Qwen3.8 27B、NVIDIA GPUを対象としており、AMD、Metal、CPUでの生成にはまだ対応していない。組み込みサーバーにも認証やTLSは備わっていない。今後確認すべき点は、モデル間のポータビリティ、NVMeのテールレイテンシ、マルチテナントバッチ環境でのスループット、そしてクエリインデックスが初期の重要な証拠を取りこぼした際に、要約よりも検知しにくい記憶喪失のパターンが生じるかどうかだ。