AgentX 1.0、393件の実エージェント軌跡で100万token規模の推論負荷をリプレイ

SemiAnalysisはAgentX 1.0をリリースし、InferenceXにリプレイ可能なエージェント型プログラミング・ワークロードを追加した。従来の推論ベンチマークでは通常、入力長と出力長を固定したうえで、1秒あたりのtoken数を測定する。これに対してAgentXは、マルチターン会話、ツール呼び出しによる中断、サブエージェントの突発的な並行実行、履歴の蓄積に伴って高まるKV cacheヒット率を再現する。これらの要因は、HBM容量、prefix routing、ノード間KV転送、DRAM／SSD offloadingに同時に負荷をかけるため、長時間稼働するcoding agentのサービング形態により近い。

最初に公開されたApache 2.0データセットには、匿名化されたClaude Codeのエージェント軌跡393件が含まれ、メインエージェントのターン数は56,798、サブエージェントの展開は1,697件、モデルリクエストは98,827件に上る。データカードによると、入力は約216億token、出力は1億600万tokenで、セッションの44％が少なくとも1つのサブエージェントを起動している。完全版には100万token近くに達するリクエストが保持されているほか、コンテキストの短いモデルをテストしやすいよう、各リクエストを最大256K tokenに制限した派生データセットも提供される。

リプレイヤーはAIPerfを使用し、元の相対的なタイミングに従ってリクエストを送信する。また、同時ユーザー数を変化させながら、ユーザーごとの出力速度、time to first token、エンドツーエンドのレイテンシ、チップあたりのスループット、消費電力、prefix cacheの挙動を測定する。公開ダッシュボード、REST API、設定、実行ログ、結果処理プログラムも用意され、エンジニアは個々のデータポイントについて、モデル、ハードウェア、精度、serving frameworkの組み合わせを追跡できる。これはピーク時のtokens/sだけを見る方法よりも、session-aware routing、disaggregated prefill／decode、階層型KV cacheの検証に適している。

制約も明確だ。軌跡の大部分はSemiAnalysisのClaude Codeエージェント・トラフィックに由来しており、研究、ブラウジング、企業向けエージェントのすべてを代表するものではない。データは匿名化され、64-tokenのKV block単位で保存されているため、入力長はcache blockに基づく推定値であり、極端に長いコンテキストでは実際のtokenizerによるtoken数を過大評価する可能性がある。さらに重要なのは、リプレイヤーが元のプログラミングタスクを再実行して完遂するわけではない点だ。そのため、結果から分かるのは「このサービングシステムがどれだけ高速で、どれだけ効率的か」に限られ、モデルが正しいコードを書けることの証明にはならない。今後は、ほかのharnessによる公開軌跡、ベンダーをまたいだ独立再現、そしてcache hit rateと実際のタスク完了時間との相関が維持されるかが注目される。