外部メモリにより、重みを凍結したエージェントがデプロイ後のフィードバックから学習――τ-benchの単発成功率は最大2.6倍に

新たな研究が、継続的なファインチューニングを外部メモリで代替する手法を提案した。エージェントがタスクを完了すると、同じモデルが会話、ツール使用の軌跡、フィードバックを1つの `WHEN–THEN` 自然言語ルールに整理し、その後、関連する状況に遭遇した際に能動的に検索する。モデルの重みは全期間を通じて凍結され、書き込みはタスク終了後にのみ行われる。失敗し、正解がない場合、メモリに記録できるのは避けるべき行動だけであり、検証済みの修正を得た後に初めて正しい行動を保存できる。これにより、エージェントが推測を長期的な知識として書き込むリスクを抑える。

著者らは、τ-benchの銀行業務ドメインにある97件のタスクを、それぞれ4回実行して評価した。Mistral Largeでは、完全なポリシー文書を用いる静的RAGベースラインの `pass^1` は0.064だった。成否を示す1 bitのフィードバックだけを追加すると0.103に上昇し、失敗後に正しいアクション列を加えると0.170に達した。これはベースラインの約2.6倍に相当する。ベースラインでは4回とも解けなかった84問のうち、修正メモリを利用したエージェントが少なくとも1回解けたものは22問だった。Claude Sonnet 5でも、`pass^1` は0.248から0.397へ上昇した。

研究ではさらに、2つのモデルが構築した読み取り専用メモリストアを交換した。MistralがSonnetのルールを参照した場合は0.289、SonnetがMistralのルールを参照した場合は0.314に達した。この結果は、一部の経験が特定モデル向けのプロンプト上の近道として保存されるだけでなく、モデル間で移転可能であることを示している。実験harness、データ、プロンプトの抜粋は公開されており、再実行が可能だ。

一方、限界も明確だ。各条件で完全な実験が行われたのは1回だけで、フィードバックは決定論的な評価器によって提供されている。遅延、誤り、悪意のある人間による修正はシミュレーションされていない。また、同じタスクを4回繰り返す設定は、多くの本番トラフィックよりも再利用可能なルールを形成しやすい。さらに、Mistralでは3条件すべての `pass^4` が0.031だった。これは、一部の反復シナリオを学習できても、4回連続で安定して成功できるとは限らないことを意味する。次の段階では、ノイズを含むフィードバック、タスク間の汎化、メモリの競合、削除とプロベナンス追跡、さらに長期メモリストアがプロンプトインジェクションによって汚染された場合の復旧能力を検証する必要がある。