NVIDIA ModelExpress、GPU間で重みを転送し、806 GiBモデルのスケールアウト時間を2分未満に短縮

NVIDIAは7月24日、DynamoのコンポーネントであるModelExpress（MX）の詳細を公開し、大規模モデルのサービングにおける最も厄介なスケールアウト遅延の解消を図った。新しいワーカーは数百GiBの重みを読み込むだけでなく、テンソル変換、JITカーネルのコンパイル、自動チューニング、CUDA Graphのキャプチャーもやり直す必要がある。MXのコントロールプレーンは、Redis、Kubernetes CRD、またはサービスメタデータを通じて互換性のある転送元を探す。データプレーンはP2P RDMA、ModelStreamer、GPUDirect Storageの順に試行し、最後に通常のホストステージングI/Oへフォールバックする。

同じモデル、量子化形式、並列化構成、テンソルレイアウトを持つ既存レプリカがある場合、MXはNIXLを利用し、転送元GPUから転送先GPUへ直接データを読み込む。新しいレプリカも準備が完了すると転送元プールに加わるため、各マシンがオブジェクトストレージから繰り返しダウンロードするのではなく、レプリカ数に応じて重みのファンアウト能力が拡大する。共有ディスク環境では、キャッシュサービスがアトミックなクレーム処理によって単一のダウンローダーを選出する。公式の試算によると、10個のレプリカが806 GiBのモデルを同時に取得する場合、従来方式では約8 TiBの重複したインバウンドトラフィックが発生する。

MXは、Triton、DeepGEMM、TileLang、CuTe DSL、FlashInferのコンパイル済み成果物も転送できる。NVIDIAは、8基のB200、ConnectX-7、vLLM 0.23.0、TP=8を使用した単一ノードのテストで、DeepSeek-V4-Proの重みとカーネルキャッシュの転送が10秒未満で完了し、総起動時間が8分から1分44秒に短縮されたとしている。VMM arenaを使用すれば、テンソルごとに行うRDMAメモリ登録を単一の領域へ統合することもできる。

エンジニアリング上の注目点は、MXが重みの配布をストレージの問題からサービスレプリカ間のデータプレーンの問題へと転換したことにある。また、RL rolloutワーカーが新しいバージョンの重みを能動的に取得する用途にも拡張できる。ただし、最初のワーカーは依然としてコールドロードが必要であり、転送元プロセスは継続してオンラインでなければならない。TensorRT-LLMで変換後のデータを受信する機能は、現時点では主にLlamaファミリーに限定されている。公式テストには、リージョン間通信、異種GPU環境、ネットワーク輻輳、大規模な並列スケールアウトも含まれていない。導入前には、実際のトポロジーを用いてフォールバック動作と転送元の飽和状態を測定すべきである。