EvolvingIntent、静的ベンチマークを要件が変化する対話へ再構成し、エージェントの修正指示追跡におけるギャップを明らかに

Microsoft Researchの研究者は7月22日、EvolvingIntentを提出した。これは、静的ベンチマークで見過ごされがちなエージェントの失敗モードを対象としている。実行中にユーザーが条件を追加したり、以前の値を撤回したり、さらには別のタスクへ問題を切り替えたりしたとき、モデルが初期に立てた計画を継続するのではなく、最新の意図に基づいて作業を完了できるかを検証する。

このフレームワークは、人手でしか評価できない新たな対話問題群を作るのではない。まず既存のサンプルを主要なfunction、必要なarguments、正解に分解し、次にパラメータの反実仮想値を生成するとともに、関連性はあるものの異なるpredecessor functionを作成する。シミュレーターはこれらを基にマルチターンのやり取りを構成し、パラメータを段階的に開示するだけのケース、途中でパラメータを修訂するケース、主要タスクを切り替えるケース、そして3種類を組み合わせたケースという4つのシナリオを生成する。最終的な採点には、元のベンチマークの実行ベース評価または正解ベース評価を引き続き使用する。このため、スコア低下を評価規則の変更ではなく、意図の変化に比較的直接帰属できる。

公開実装は現在、GSM8K、BIRD-SQL、BrowseComp+、SWE-bench Verifiedに対応し、算術、Text-to-SQL、エージェント検索、リポジトリ修復を網羅する。チームの報告によると、複数のモデルファミリーは、完全な情報を含むシングルターンのプロンプトでは高い性能を示す一方、わずか数回の意図変更を経るだけで性能が大幅に低下する。これは特にコーディングエージェントにとって重要だ。ユーザーが最初に不具合の修正を求め、その後でAPIを変更してはならないという制約を追加した場合、エージェントは新しい文を元の計画へ単に付け加えるだけでは不十分であり、どの仮定、ツール結果、TODO項目が無効になったのかを再判定しなければならない。

ライブラリは、決定論的なevalモード、ランダムサンプリングが可能なtrainモード、構造化された各ターンをより自然な表現へ書き換えるnaturalizerを提供する。モデルの呼び出しにはOpenAI Python SDKを使用し、OpenAIまたはAzure OpenAIへ接続する。一方で、これは主な制約にもなっている。一部の対話と反実仮想データはモデルによって合成されるため、自然さや難易度が生成モデルの影響を受ける可能性がある。また、現在対象となっているタスクだけでは、曖昧な選好、複数人での協働、長期にわたる外部状態の変化を伴う実際の業務を十分に代表できない。

開発者は、このフレームワークをエージェントの回帰テストへ組み込み、「最終的にどのバージョンの要件を採用したか」や、変更後に以前のツール操作を取り消したかどうかを別途記録できる。今後の注目点は、データと完全な結果を第三者が再現できるか、そして明示的な状態機械、計画の無効化マーカー、イベントソーシング型メモリによって、このギャップを縮小できるかどうかだ。