SGLang 0.5.16、信頼度に応じて投機的検証の長さを動的調整し、ハイブリッドアーキテクチャのキャッシュを再編

SGLang 0.5.16の中核となる新機能はDSparkだ。ドラフトモデルがまず半自己回帰方式で候補tokenをブロック単位に生成し、その後、自身の信頼度に基づいてターゲットモデルへ送る検証ウィンドウを動的に決定するため、各ラウンドのドラフト長は固定されなくなった。公式はB300のTP8構成でDeepSeek-V4-Proを単一リクエストによりテストし、受理長が約5のときに383.7 token/sを達成したと報告している。デプロイ時には`DSPARK`アルゴリズムを選択し、compact ragged verificationを有効化したうえで、モデルに応じてblock sizeを調整する必要がある。ただし、これは特定のハードウェアおよびバッチ設定で得られた結果であり、マルチテナント環境のスループットやテールレイテンシへ直接一般化することはできない。

新バージョンでは、UnifiedRadixTreeがスライディングウィンドウアテンション、Mamba、DSAモデルのデフォルトキャッシュ構造にも設定された。これにより、プレフィックスヒットと状態空間モデルのrecurrent stateを同じ管理パスで扱える。GLM-5.2では、context-parallel prefill時にDSAのKVおよびindexer cacheレイヤーをrankごとに分割できる。公式テストでは、8,192 token、78レイヤー、`cp_size=4`の条件で、rank当たりのキャッシュ容量が0.77 GBから0.20 GBへ減少し、約74％削減された。ReplaySSMのリング型投機的検証では、ドラフトごとの完全なSSM snapshotが不要になり、Qwen3.5-35B-A3BのTP1テストにおいて一時ストレージ容量が11.5 GBから1.8 GBへ縮小された。

モデルサポートにはInkling、LongCat 2.0、Mellum v2、Pi0.5、LongLive 2.0が含まれる。このうち、975Bパラメータと100万tokenのコンテキストを備えるInklingは、Blackwell、H200、MI350X／MI355Xで検証済みだ。一方、MiniMax-M3については必要なコードがすでにマージされているものの、公式には依然としてエンドツーエンドで利用可能とはされていない。

アップグレードに伴うリスクも同様に重要だ。QServe W4A8、FBGEMM FP8、一部のCUTLASSパス、組み込みのNVFP4 JITカーネルが削除され、NVFP4 GEMMはFlashInferに依存するようになった。また、拡散モデルのRL rolloutレスポンス形式もJSON/base64からMsgPackのraw bytesへ変更された。このほか、temperature 0での非決定性や、取り下げられたMambaの修正も既知の問題として残っている。エンジニアリングチームは公式のマイクロベンチマークだけを根拠にアップグレードせず、自社環境のバッチ、GPU、モデル、同一のプロンプトを用いて、正確性とレイテンシのテストを再実行すべきだ。