τ^τ-Bench、「エージェントを構築する」工程自体を評価対象に――最良のコーディングエージェントも専門家リファレンスの3割

Sierra Researchはτ^τ-Bench（Hyper-τ）を公開し、評価の対象を「エージェントがユーザーに対応できるか」から「コーディングエージェントが別のエージェントを構築できるか」へと拡張した。各タスクでは、企業が実際に保有していそうな業務マニュアル、カスタマーサポート記録、スプレッドシート、スクリーンショット、音声、フローチャートに加え、文書化されていない要件を把握しているシミュレーション顧客が1人用意される。開発エージェントは隔離環境内で資料を理解し、顧客にインタビューし、空のコードベースまたは既存のコードベースを引き継いだうえで、潜在的な欠陥を含む可能性があるREST APIを統合しなければならない。

提出物はテキストによる回答ではなく、完全に実行可能なカスタマーサポートエージェントだ。評価システムはそれを非公開のシミュレーションユーザートラフィックにデプロイし、最終的なデータベースの状態、顧客に伝えた情報、会話1件当たりの平均モデル予算に基づいて採点する。公開された53件のタスクは航空、小売、通信、銀行にまたがる。航空および小売のデータについては、モデルが既存のτ-bench問題を暗記している可能性を抑えるため、ブランド名、数値、ポリシーが別途書き換えられている。コードベースはCodex、Claude Code、OpenCode、Prime Agentに対応し、モデルルーティング、コンテナイメージ、タスク契約を固定することで、「モデル」と「エージェント実行フレームワーク」を分離して比較できるようにしている。

初回の結果では、Claude Opus 5とClaude Codeの組み合わせが23.9%、GPT-5.6-solとCodexの組み合わせが22.0%を記録した。一方、専門家が作成したリファレンスエージェントは82.2%だった。論文の分析によると、コーディングエージェントは資料を完全に読む代わりにキーワード検索に頼ることが多く、顧客への追加質問もほとんど行わない。また、最初に実行できたアーキテクチャをそのまま修正し続け、自ら作成した同じ盲点を持つテストで検証する傾向がある。これは単純なコード修正ベンチマークよりもエージェントプロジェクトの納品に近いが、82.2%は専門家によるリファレンス実装の成績であり、人間一般の能力を示すものではない。シミュレーション顧客やモデルによる判定にもバイアスが入り得る。今後の焦点は、異なるチームが同一のルーティング、コスト、密封されたテスト条件のもとで、この順位を再現できるかどうかだ。