推論系統
NVIDIA Dynamo、マルチモーダル推論を3段階に分離し、混合トラフィックの初回トークン遅延を最大42.2%短縮
Dynamoでは、視覚エンコード、LLMのprefill、decodeを独立したworkerや異なるグレードのGPUに割り当てられるようになり、画像リクエストがテキストのみのトラフィックをブロックするのを防げる。公式テストでは初回トークン遅延とエンドツーエンド遅延がそれぞれ最大5倍、7倍改善した一方、出力が長い場合や大規模なdense modelでは、分離による利点が相殺される可能性がある。
NVIDIAは、DynamoにおけるマルチモーダルEncode–Prefill–Decode（EPD）分離の実装と、導入可否の判断基準を公開した。従来の集約型サービスでは、同一のworkerがメディアのデコード、Vision Transformer、LLM prefill、token単位のdecodeを順番に処理する。画像や動画が増えると、視覚エンコードによって各リクエストのTTFTが延びるだけでなく、同じbatch内のテキストのみのリクエストにもhead-of-line blockingが発生する。Dynamoでは、encoderが視覚embeddingを生成し、それをNIXL経由でprefill／decode workerへ転送することで、3段階を個別にスケジューリング、batching、スケーリングできるようにした。
デプロイ構成としては、集約型構成を維持する方法、各GPU上にencoderとPD workerをcolocationする方法、encoderをより低コストなGPU tierへ移す方法を選択できる。最後の構成を用いた公式テストでは、2基のRTX 6000Dで視覚エンコードを処理し、4基のGB200でLLMを実行した。embeddingは、ピーク帯域幅20 GbpsのUCX RC／TCPネットワーク経由で転送された。主要benchmarkにはQwen3.5 122B-A10B NVFP4を採用し、各リクエストに10枚の画像、画像1枚当たり最大256個の視覚token、出力1,024 tokenという条件を設定した。colocation構成ではTTFTが58%、異種GPU構成では50%短縮され、後者はinter-token latencyを100ミリ秒未満に抑えるという制約下で、70%多いトラフィックを処理できた。テキスト／画像を50:50とした混合トラフィックテストでは、テキストのTTFTが92.3ミリ秒から53.3ミリ秒へ、画像のTTFTが289.9ミリ秒から200.6ミリ秒へ短縮された。
ただし、これはあらゆるケースに無条件で適用できる高速化手法ではない。出力長を128 tokenから2,048 tokenへ増やすと、異種GPU EPD構成のエンドツーエンド性能上の優位性は20.3%から5.2%へ縮小し、colocation構成では逆に2.5%低下した。同一SLOにおけるgoodputは、4B modelでは集約型構成の2.62倍に達したものの、27B dense modelでは0.65倍にとどまった。エンジニアリングチームは、ViT、prefill、decodeが処理時間に占める割合とembeddingの転送コストを事前に測定したうえで、分離の採否を判断すべきだ。Dynamoのドキュメントでは、すでにvLLM、SGLang、TensorRT-LLMの起動手順が提供されているが、画像、動画、KV転送に対するサポート状況はbackendごとに依然として異なる。