Thinkingbox、バックエンド状態で507件の企業ワークフローを検証――最良のエージェントでも20回連続全問正解は25.25％

Microsoftの研究チームは、[Thinkingbox](https://github.com/microsoft/thinkingbox)とThinkingbox-benchを公開した。エージェント評価の焦点を「妥当な応答を生成できたか」から、データベース、ファイル、業務システムが最終的に正しい状態へ移行したかへと移すものだ。このフレームワークでは、常駐型のMCP Session Proxyを通じて会話ごとに隔離されたツールサーバーを起動し、初期状態を読み込む。エージェントの終了後には、すべての副作用を取得する。これによりテストでは、必要な操作の未実施、誤った操作、不要な追加操作を不合格にできる。

[論文](https://arxiv.org/abs/2608.19741)では、ポリシー上の制約を伴う507件のワークフローを構築した。対象領域は小売、ホスピタリティ、自動車保険、デジタルバンクの社内IT、およびコンサルティング会社のIT・HRサポートに及ぶ。各タスクでは、エージェントが複数ターンの会話を通じて不足情報を確認し、ルールを順守しながら、依存関係のあるツールを連携させる必要がある。うち477件は主に最終的なバックエンド状態によって判定され、残る30件には応答rubricが使われた。著者らは、失敗した実行軌跡の多くも正常に終了し、有効な状態変更まで実行していたことを確認した。これは、形式上の正しさだけを監視しても、実質的な誤りを見落とすことを示している。

複数のクローズドモデルとオープンウェイトモデルを比較した結果、最良のシステムはpass@1で65.36％を記録した。一方、同一タスクを20回実行してすべて成功する確率を示すpass^20は、わずか25.25％だった。この差は、返金、アカウント変更、メール送信などを行う企業向けエージェントにとって特に重要だ。時折成功するだけでは、デプロイ可能な信頼性があるとはいえない。MIT Licenseで提供されるこのフレームワークは、オフライン実行軌跡の生成や強化学習ループへの組み込みにも利用でき、OpenAI互換エンドポイント、Azure OpenAI、Anthropicをサポートしている。

制約として、タスクは非公開の情報源を基に再構築されたものであり、実際の企業トラフィックの分布を表すとはみなせない。また、各タスクには正解となる最終状態が1つしか設定されておらず、複数の処理方法がいずれも妥当となるケースは除外されている。ユーザーシミュレーターにはGPT-5.4-miniが固定で使われ、30件の言語評価も同モデルが担当した。現時点の実装で正式にテストされているOSはLinuxのみだ。今後は、独立したチームが独自のMCPシステム、複数人が関与するワークフロー、正解となる最終状態が一意でないワークフローを追加できるか、さらに信頼性の低下を再現できるかを検証する必要がある。