推論系統
vLLM 0.28.0、Kimi K3の共有エキスパートをシャーディングし、GPU 1基あたり約17 GiBの重みメモリを削減
新版ではDecode Context Parallel、融合FlashKDAカーネル、適応型speculative token予算も導入され、DeepSeek V4の疎なMLAが通常デコードとspeculative decodingの両方で利用可能になった。一部の速度値は個別カーネルまたは特定のDSpark構成のみを測定したものであり、アップグレード前にはデフォルト値とプラグインインターフェースの破壊的変更にも対処する必要がある。
vLLM 0.28.0は、大規模Mixture-of-Experts（MoE）モデルの通信、メモリ、デコードパスに重点を置いている。[リリースノート](https://github.com/vllm-project/vllm/releases/tag/v0.28.0)には584件のコミットが記載されている。Kimi K3では、1本のシーケンスをデコードコンテキストに沿って複数のrankへ分割するDecode Context Parallelが利用可能になった。また、FlashKDAのprefillとdecodeには融合カーネルが採用され、中間テンソルとカーネル起動のオーバーヘッドが削減された。シーケンス並列パスでも一部のall-gatherが統合され、公式発表では関連カーネルが1.5～3倍高速になったとしているが、これはサービス全体のエンドツーエンドスループットを示すものではない。
デプロイ容量により直接的な影響を与えるのが、オプションの共有エキスパートシャーディングだ。Kimi K3の共有MLPでは従来、完全な重みが各rankに複製されていた。`VLLM_KIMI_K3_SHARD_SP_SHARED_EXPERT`を有効にすると、各rankは中間次元の一部だけを保持し、all-gatherとreduce-scatterを使って演算を完了する。[モデルドキュメント](https://docs.vllm.ai/en/v0.28.0/api/vllm/models/kimi_k3/nvidia/model/)には追加の集団通信が説明されており、リリースノートではGPU 1基あたり約17 GiBを削減できると見積もられている。エンジニアリングチームは、このメモリ削減効果が自社のトポロジーにおける通信コストを相殺できるか、実環境で検証すべきだ。
speculative decodingでは、適応型token予算により、公式のDSparkテストでTime to First Token（TTFT）が約60%改善した。DeepSeek V4でも、通常のdecode、MTP、DSparkにわたる疎なMLAのエンドツーエンドサポートが整備された。Model Runner V2にはE／P／D分離、重みオフロード、多層MTP KV cacheが追加され、KV cacheのセカンダリ層をディスクへオフロードしたり、外部モジュールで管理したりできるようになった。
今回の更新にリスクがないわけではない。`max_num_batched_tokens`のデフォルト値は8,192から16,384へ引き上げられ、ピークメモリ使用量やスケジューリングレイテンシが変化する可能性がある。bitsandbytesはツリー外プラグインへ移され、Transformersは5.15.0へアップグレードされ、複数の旧パラメータと出力フィールドも削除された。本番環境へアップグレードする前に、サービスレベルのTTFT、ユーザーごとの出力速度、GPUメモリ使用量、クライアント互換性のテストを再実行すべきであり、単一カーネルの高速化率だけをそのまま判断材料にしてはならない。