vLLM 0.26、クロスレイヤーKVキャッシュとハイブリッドアテンションを拡張、DeepSeek-V4の推論カーネルも高速化

vLLMは7月27日、212人のコントリビューターによる411件のコミットを統合したバージョン0.26.0をリリースした。今回、デプロイ担当チームが最も注目すべき点は、対応モデル数の増加ではなく、エンジンがハイブリッドアーキテクチャと大規模クラスターを標準的な前提として扱い始めたことだ。各KV-cacheグループで異なるアテンションバックエンドを選択できるようになり、sliding windowもバックエンドが明示的に宣言する機能となった。これにより、full attention、local attention、その他のstate-space moduleを併用するモデルでも、単一の実行パスを強制されなくなる。

KV offloadingも、単にCPUへ移す方式から、階層型のセカンダリストレージへと拡張された。新版では読み書き量やルックアップレイテンシーなどのメトリクスが追加され、workload identityを介してオブジェクトストレージに接続できるほか、data-parallel replicaも識別できる。encoder cacheにはCPU connectorも追加された。これらのコンポーネントは長いコンテキストやprefix reuseに有効だが、実際の効果はリモートストレージのレイテンシー、ネットワークトラフィック、キャッシュヒット率に左右されるため、GPUメモリの削減量だけで評価することはできない。

ハードウェア面の主眼は、ベンダー横断の最適化だ。プロジェクトはDeepSeek-V4向けに専用ルーティングカーネルを追加し、公式コミットの測定ではエンドツーエンドのper-token時間が2.94％改善した。単体の`fused_topk_bias`カーネルは1.5～2倍高速化している。ROCmにはtwo-stage compressor、sparse prefill／decode、DSpark speculative decodingが追加され、XPUもDSparkに対応した。Qwen3.5では、RMSNorm、通信処理、H20向け実行パスの融合がさらに進められた。ただし、これらの数値の多くは個別のPRにおける制御された環境で得られたものであり、リリースノートには、ハードウェア、バッチ、シーケンス長を統一した総合比較は掲載されていない。

このほか、Rustフロントエンドが音声、動画、ネイティブの`vllm-bench`に対応し、APIにはendpoint pluginフレームワークが追加された。アップグレードする場合は、長いコンテキスト、ハイブリッドモデル、複数レプリカを対象とした負荷テストを自社環境で再実行すべきだ。特に、KV tierのルックアップレイテンシー、speculative decodingのacceptance rate、新しいカーネルがCUDA、ROCm、XPU間で同一の数値結果を維持できるかを確認する必要がある。