IBM、単一の軌跡からエージェントの不安定なステップを特定——ALTK‑Evolveが診断結果を再利用可能なガイドラインに変換

IBM Researchは、平均成功率では見えにくいエージェントの「一貫性ギャップ」への対処を目指し、オープンソースのALTK‑Evolveを更新した。チームはAppWorldの168件の`test_normal`タスクで、GPT‑4.1を搭載したReActエージェントをそれぞれ5回実行した。各実行の平均成功率であるMean@5は77.4%だった一方、5回すべてに成功した割合を示すPass^5はわずか53.0%だった。本番システムにおいて、前者は1回のリクエストで期待される性能を表すのに対し、後者は同じ金融、契約、またはAPIワークフローを繰り返し実行した際に安定して結果を提供できるかどうかを、より適切に示す。

新たに追加されたConsistency Analyzerは、外部環境を再操作する必要がなく、モデルのlogitsや正解データも必要としない。既存の軌跡を1件受け取り、各推論ステップで当時のコンテキストを再生して、モデルに複数の候補応答を生成させる。その後、ツール名やパラメーターなどの構造的な類似度に基づき、「判断が変わりやすい」意思決定を特定する。続いて、オフラインのGuideline Generatorがそれらの箇所を自然言語のルールへ書き換える。たとえば、検索結果が一意であることを先に確認する、行頭に一致する正規表現でチェック項目を数える、といったルールだ。ルールは保存、統合、検索された後、類似タスクの推論時にプロンプトへ注入され、モデルの重みは変更されない。

IBMが公表したGPT‑4.1の結果では、Pass^5が53.0%から69.0%に、Mean@5も77.4%から81.0%に向上し、一貫性ギャップは24.4ポイントから12.0ポイントへ縮小した。あるタスクのバリアントから生成したガイドラインを、同じシナリオの別のバリアントに適用した場合も、Pass^5は13ポイント向上した。より性能の低いgpt‑oss‑120bでも改善が確認された。この結果は、エンジニアリングチームが`Pass@k`や平均精度だけでなく、毎回の成功を要件とする`Pass^k`も別途報告すべきであることを示している。

制約として、ガイドラインは同じモデルが自身の軌跡を参照して生成するため、誤った戦略を固定化する可能性がある。また、類似タスクの高難度グループでは、平均精度がわずかに低下した。論文で評価されたのはReAct、2つのモデル、AppWorldのみであり、ブラウザー操作、コーディングエージェント、再生不能な実取引にも結果を一般化できるかはまだ実証されていない。実運用ではさらに、再サンプリングのコスト、ガイドライン間の競合、メモリー汚染、モデルやツールのバージョン変更後に再診断が必要かどうかを検証する必要がある。