SGLang 0.5.18、重みのロードとCUDA Graphをオーバーラップし、Qwen3-32Bのコールドスタートを35.6秒に短縮

SGLang 0.5.18は、モデルのコールドスタートを、オーバーラップ可能なI/OとGPU初期化の問題として捉えている。checkpointページをストレージデバイスからロードしてステージングするのと同時に、システムがCUDA Graphのcaptureを開始し、2つのフェーズが逐次的に完了するのを待たない。`--startup-weight-load-mode overlap`を使用すると、公式テストでは単一のH100上でQwen3-32Bの起動時間が35.6秒となり、通常のデフォルトフローの84.8秒を大きく下回った。ただし、prefetchを有効にした逐次フローと比べた改善幅は8.6%～11.7%にとどまる。「2.38倍」という数値を、すでに重みキャッシュを利用しているクラスターや異なるストレージバックエンドへそのまま当てはめることはできない。

デコードパスにも、より具体的な2つの変更が加えられた。純粋なデータ並列attention構成におけるTP LMHeadでは、従来必要だったall-gather後のscatterを、1回のall-to-allに統合できるようになった。B200上のDeepSeek-V4-Proでは、LMHeadの処理時間が320マイクロ秒から169マイクロ秒へ短縮されたが、全体のTPOTは36.97ミリ秒から35.67ミリ秒への改善にとどまった。DeepSeek-V4-FlashのTP4 Blackwellテストでは、NCCL all-reduceの一部をFlashInfer MNNVLで置き換えることで、小バッチのデコード性能が最大6.9%向上した。これらの数値は、オペレーター単位の高速化が必ずしもエンドツーエンドのレイテンシに比例して反映されるわけではないことを示している。

0.5.18では同時に、Muse Glimmer、SANA-Video、LTX-2.5など、7つの自己回帰または拡散モデルファミリーが追加されたほか、DSparkのlogprob出力や、DeepSeek、Qwen、Kimiに関する複数の修正も統合された。デプロイ担当者は、アップグレード前に破壊的変更にも注意する必要がある。CUDAスタックはTorch 2.13とTriton 3.7.1へ移行し、`torchao`統合は削除された。また、Triton、FlashInfer、Inductor、DeepGEMMなどのコンパイルキャッシュは`SGLANG_CACHE_DIR`へ統一され、初回起動時には再コンパイルが発生する。自動スケーリングを必要とする推論プラットフォームでは、公式のH100の結果だけを採用するのではなく、自社のモデル、ネットワークファイルシステム、ウォームアップ戦略を使用してコールドスタートを再検証することが次のステップとなる。