Rubin NVL72初のAgentX実測結果が公開、ワット当たりtokenの最大向上幅は依然として比較基準次第

SemiAnalysisは9月14日、Vera Rubin NVL72を用いた初のAgentX結果を公開した。同社によると、長いコンテキストを扱う複数ターンのcoding agentワークロードにおいて、プレリリース版のRubinハードウェアおよびソフトウェアは、Blackwellと比べてメガワット当たりのtokenスループットが最大約7倍に達した。さらに、同社によるクラウドのレンタル価格調査と特定のレイテンシ動作点を加味すると、個別の比較ではドル当たり性能の差が最大67倍に拡大した。ただし後者は、あらゆるワークロードに共通する固定的なハードウェア性能倍率ではなく、調達モデルへそのまま適用すべき数値でもない。

AgentXは、オフラインでの総スループットだけを測定するものではない。ユーザー当たりのtoken生成速度、Time to First Token（TTFT）、複数ターンにわたる長いコンテキストのリクエストを基に性能曲線を作成する。これは単一batchのtokens/sよりもagentサービスの実態に近い。coding agentは、長いprompt、toolの実行結果、短いoutputを繰り返し送信するためだ。同じシステムでも、高concurrency時にTime to First Tokenが急増するなら、総スループットがどれほど高くても実用的とは限らない。

この性能向上の一部は、ハードウェア設計によって説明できる。NVIDIAの公式仕様によると、1ラックのNVL72には72基のRubin GPU、36基のVera CPU、20.7 TBのHBM4が統合され、総メモリ帯域幅は最大約1.58 PB/sに達する。NVLink 6は、GPU当たり3.6 TB/sのscale-up帯域幅を提供する。大規模なMoEでは、純粋な演算性能よりも先に、expert weightの読み出し、KV cache、all-to-all通信がボトルネックになることが多い。ラック全体を単一の72-GPU実行ドメインとして扱うことで、ノード間通信とメモリ負荷を軽減できる。

ただし、現時点のソフトウェアは依然として初期バージョンであり、baselineの結果にも、異なる時点のSGLang、TensorRT-LLM、quantization、parallelism構成が使われている可能性がある。SemiAnalysisのドルベースの指標は、独自に調査した3年間のレンタル価格にも依存している。また、token/Wは回答品質やタスク完了までに必要なtoken数を評価していない。エンジニアリングチームは、公開されたworkflowの生のレイテンシ、消費電力、command-lineログが提示されるのを待ち、同一のmodel、precision、context、Quality of Service（QoS）条件で結果を比較すべきだ。AMD MI455X、Google TPU、正式版Rubinソフトウェアが同一のテストに加わって初めて、そのリード幅は調達判断にとってより有意なものになる。