自己改善エージェント、タスク順序のランダム化で平均効果が+1.5%から-4.5%へ逆転

Salesforce AI Researchは、Agent Workflow Memory（AWM）とReasoningBankを改めて検証した。これらは、エージェントが各タスクを完了した後、成功したワークフローや推論経験をテキスト記憶庫に書き込み、後続タスクで検索できるようにする手法だ。チームはGPT-5-miniをエージェントおよび記憶構築モデルとして使用し、WebArena、VisualWebArena、企業向けCRM環境のSCUBAでテストした。また、従来一般的だった単一の固定タスク順序による1回限りの実行を、各設定につき3回の実行と2種類のランダム順序へ拡張した。

結果から、記憶を持たないエージェント自体にも無視できないランダム性があることが示された。さらに、状態を蓄積する記憶ループを追加すると、初期のサンプリング差がタスク列に沿って増幅される。比較した24のドメイン／手法設定のうち17設定、約71%で標準偏差が増加し、そのうち11設定では増加率が50%を超えた。WebArenaのGitLabサブセットにおける最良実行と最悪実行の差も、ベースラインの4.44パーセントポイントから、ReasoningBankでは7.78パーセントポイントへ拡大した。一部のドメインでは、その差が10ポイントを超えた。これは、1回の実行だけで数パーセントポイントの改善を主張すると、実行ノイズを手法の効果と誤認する可能性が高いことを意味する。

さらに重要なのが、タスク順序の影響だ。デフォルトの順序には、易しいタスクから難しいタスクへ進む暗黙のカリキュラムが含まれており、この条件ではReasoningBankによって平均1.5%の改善が見られた。しかし、順序をランダムにシャッフルすると、平均4.5%の低下に転じた。人手による調査では、エージェントが仕様不足の経験を、一見もっともらしいものの実際には実行不可能なルールとして記憶に書き込むことが判明した。例えば、ブラウザ操作しかできない環境でAPIを直接呼び出すよう提案するケースがあった。詳細な評価基準、環境からのフィードバック、能力上の制約を記憶構築時に追加すると、順序変更による性能低下の約31%を回復できたが、差を完全には解消できなかった。

したがってエンジニアリング上、長期記憶は無償の能力向上ではなく、ドリフトし得る可変状態として扱う必要がある。評価では複数回の実行、ランダムなタスク順序、記憶内容の監査を報告し、デプロイ環境にも誤った経験を削除または修正するためのインターフェースを用意すべきだ。著者らは実験コードと39,343件のエージェント軌跡を公開している。ただし、現時点での結論は3つのWeb環境、3回の再実行、実タスクの報酬を用いた設定に限定されており、コーディングエージェントや信頼できるフィードバックがない本番システムへ直接一般化することはできない。