代理評測與可觀測性
A²E、23種類のベンチマークと9種類のエージェントシェルを統合、各評価セルは依然わずか5問
上海人工知能研究所がA²Eを公開した。Agent Task Protocolにより、ベンチマーク、エージェントシェル、軌跡評価を分離する。1,035回のペアリング実験から、シェルがツール使用とtokenコストに影響することが示された一方、サンプル数はフレームワークのランキングを裏付けるには不十分だ。
上海人工知能研究所のチームは、エージェント評価を「フレームワークごとに個別のベンチマークアダプターを書く」方式から、組み合わせ可能なプロトコルへ移行させることを目指し、A²E（Agent Auditing Engine）を公開した。Agent Task Protocolは、タスク入力、ツール、サンドボックスの状態、出力軌跡を標準化する。Task、Monitor、Evaluationの3層は、それぞれ実行、OpenTelemetry／OpenInference spanによるモデルおよびツール呼び出しの取得、そして計画、ツール使用、回答、コスト、安全性の評価を担う。現在、プロジェクトにはLangGraph、CrewAI、Google ADK、AutoGen、Smolagents、Agno、LlamaIndex、Claude Agent SDK、OpenAI Agents SDKが掲載されており、SWE-bench、Terminal-Bench、τ-benchなど23種類のベンチマークをカバーしている。
論文では、同一のモデル、デコードパラメータ、ツール、タイムアウト設定を用い、23×9の組み合わせで計1,035回の実行を行った。サンドボックスを使用しない19種類のベンチマークでは、さらに855件の完全な軌跡を生成した。token記録に対応する8種類のシェルでは、平均消費量が2,063～7,319 tokenとなり、3.5倍の差が生じた。一部のマルチターンタスクでも成功率が大きく分かれ、たとえばTraject-Benchでは0.20～1.00に及んだ。これは、シェルの制御ループ、ツール変換、コンテキスト管理が、無視できる単なるラッパー層ではないことを示している。
ただし、「フレームワーク×ベンチマーク」の各セルで抽出された問題はわずか5問であり、スコアの最小変動幅は0.20に達する。著者も、結果はランキングには適さないと明言している。また、対応対象として登録されているからといって、すべての組み合わせがエンドツーエンドで検証済みとは限らない。CrewAIのspanにはtoken数がなく、一部のツール呼び出しやハルシネーション関連フィールドは計測設定によって生成されるため、フレームワーク自体の挙動として解釈することはできない。エンジニアリングチームは当面、A²Eをローカル環境で動作するデータベース化された評価基盤として捉えるのがよい。今後は、プロトコルがバージョン互換性を維持できるか、反復サンプル数を拡大できるか、さらにリポジトリに明確なソフトウェアライセンスが追加されるかを見守る必要がある。