AgentX、長コンテキスト・エージェント推論の結果を公開――固定長ストレステストを実際のワークセッション形状で置き換え

SemiAnalysisのInferenceXで、AgentXのリアルタイム結果が公開された。対象にはMI355X、GB300／GB200 NVL72、B200、H200、H100などのハードウェアと、複数の大規模オープンモデルが含まれる。その狙いは、従来の推論ベンチマークが抱える盲点を補うことだ。入力8K、出力1Kに固定された単一ターンのリクエストでは、コーディングエージェントがコンテキストを繰り返し拡張し、ツールの応答を待つために停止し、サブエージェントへ分岐し、KV cacheを再利用する実際のワークロードを再現できない。

AgentX v1.0コーパスは、任意で収集されたClaude Codeのワークセッションを変換して作成されており、393 session、計135,282リクエストで構成される。リクエスト1件あたりの入力中央値は約142,016 tokenである一方、出力中央値はわずか444 tokenだ。この「極めて長いprefill、極めて短いdecode」という比率により、ボトルネックは純粋なdecode throughputから、prefix cacheのヒット率、KVの容量とオフロード、conversation-aware routing、長いプロンプトのスケジューリング、サブエージェントによる突発的なトラフィックへと移る。コンテキストウィンドウを超えるリクエストを除外した256K版も用意されており、ネイティブのコンテキスト長が短いサーバーでもテストしやすくなっている。

このベンチマークでは、NVIDIA AIPerfの`inferencex-agentx-mvp`シナリオを通じて軌跡をリプレイし、元のリクエスト時系列、キャッシュのウォームアップ、cache busting、完全なレスポンス生成、ランダムシードを固定する。ルールに違反した実行には`submission_valid: false`が記録され、公開コード、ワークフロー成果物、ダッシュボードから個々のテストまで追跡できる。単一のtokens/s値だけを公表する手法と比べ、ルーター、シリアライゼーション、外部KVレイヤーの問題を特定しやすい。

制約も同様に重要だ。NVIDIAのドキュメントでは、現時点でも実装がwork-in-progressのMVPとされており、仕様やフィールドが変更される可能性がある。プロンプトのテキストは合成されたものなので、保持されるのはトラフィック構造であってタスクの意味内容ではなく、モデルの問題解決品質も測定できない。エンジニアは、ランキングの差を調達やキャパシティプランニングの結論へ結び付ける前に、複数チームによる再現、エネルギーデータ、異なるコーパス版に対する感度分析を待つべきだ。