推論基礎設施
SGLang、GPU不要のSimulatorを正式ドキュメントに追加――レイテンシ予測で推論トラフィックをリプレイ
SGLang SimulatorはCPU上でランタイムコンポーネントをインターセプトし、モデルの実ロードやGPUカーネルの実行なしに、スケジューリング、バッチ処理、多階層KV cacheをシミュレートする。チームは、H20上の2種類のQwen3で主要指標の誤差が5%未満だったとしているが、ハードウェアとモデルのカバレッジは依然として限定的だ。
SGLangは9月5日にドキュメントを更新し、これまで公開roadmapに沿って開発してきたSimulatorを高度な機能として掲載した。これはモデルを小型化したり、CPUで低速な推論を実行したりするものではない。起動時にクラスおよびモジュールのhookを介して、Scheduler、ModelRunner、TokenizerManager、RadixCache、HiCacheController、ストレージバックエンド、GPU kernelのロード処理を置き換える。実際の行列演算の代わりにAIConfiguratorを使用し、ハードウェア仕様と事前計測したoperatorデータに基づいて、各batchの所要時間を予測する。
SimulatorはSGLangのHTTPインターフェースと`bench_serving`のメトリクス形式を維持し、mock memory poolでKV割り当て量を追跡する。このため、既存の負荷テストクライアントや本番トラフィックのtraceをそのままリプレイできる。現在のモードは、cacheなし、HBM L1、DRAM L2、ディスクL3をカバーする。また、実時間に合わせて待機するblockingモードに加え、公式発表で10～1,000倍高速とされるofflineモードも提供する。実務では、プラットフォームチームがrequest rate、batch、RadixAttention、HiCacheの組み合わせを先に網羅的に評価し、絞り込んだ少数の候補設定のみを高コストな実機テストに回せる。
公開されている検証は、主にH20上のQwen3-8BとQwen3-32B-FP8を対象としている。公式の表によると、平均TTFT、TPOT、ITL、throughput、総所要時間はいずれもMAPEが5%未満だった。ただし、これらの数値は開発チーム自身が提示したものであり、予測器はoperator profilingに依存する。MoE、マルチモーダルモデル、新しいGPU、ノード間通信、またはprefill/decode分離へ切り替えた場合、その誤差をそのまま外挿することはできない。roadmapにも、マルチインスタンスルーティング、HybridRadixCache、並列データ転送、より複雑なL2 writeback／evictionなどが未完了項目として残っている。エンジニアは今後、ハードウェア横断のキャリブレーションデータが公開されるかに注目するとともに、自社のtraceを使ってシミュレーション上の設定順位と実機結果を比較すべきだ。現時点では、容量保証や調達判断の根拠というより、構成探索ツールとしての利用に適している。