vLLM 0.29、Model Runner V2を全モデルのデフォルトに設定――アップグレードでキャッシュ、通信、起動インターフェースにも変更

vLLM 0.29.0には594件のコミットが取り込まれた。中核となる変更は、Model Runner V2（MRV2）がすべてのモデルでデフォルトの実行パスになったことだ。新バージョンでは、CUDA Graphが実際に確保したメモリ量に基づいてKV cacheを見積もるほか、sharded samplingとprompt embeddingをサポートし、スリープ、シャットダウン、マルチモーダルキャッシュにおけるメモリライフサイクルの問題も修正した。このため、アップグレードによって収容可能なシーケンス数やグラフキャプチャの構成が変わる可能性がある。APIが変わっていなくても、従来のVRAMチューニング結果をそのまま流用すべきではない。

大規模推論に向けて、0.29ではキュー内のリクエスト数とtoken数を対象とするadmission controlが追加され、サービスが過負荷に陥る前に待機量を制限できるようになった。分散KVパスには、非同期ロード、リクエスト単位のP2P offload、さらにMooncake、NIXL、context parallelismとの統合が追加された。強化学習ワークフローでは、`sharded_rdt`による重み同期に対応したことで、各workerが自身のtensor parallel／expert parallel shardだけを受信できるようになり、完全な重みをノード間で重複転送せずに済む。speculative decodingではリクエストごとのacceptance rateも報告でき、draft modelが実際に計算量を削減しているか判断しやすくなった。

ハードウェア関連のアップデートは、NVIDIA、AMD、Intel、CPUにまたがる。公式に示された性能向上の例には、Mamba prefix cachingによるfirst-token latencyの9～25％改善や、特定のBlackwell向けautotuningによるエンドツーエンドレイテンシの33.6％削減がある。ただし、いずれも特定のモデルとプラットフォームを対象としたプロジェクト内のテスト結果であり、一般的なサービスへ外挿することはできない。

移行リスクも明確だ。10種類の旧モデルアーキテクチャとPyAV動画バックエンドが削除され、従来のPython API server起動方式は非推奨化の段階に入った。また、FlashInfer all-reduceと一部のprefix caching動作についてもデフォルト値が変更された。エンジニアリングチームは、モデル、batch shape、ハードウェアを固定したうえで、アップグレード前後の回帰テストを実施すべきだ。特に、CUDA GraphのVRAM使用量、prefix-cache logits、pipeline parallelの正確性、ROCm fallbackを確認する必要がある。MRV1は未対応機能向けに引き続き残されるものの、すでに主要な実行パスではない。