MemHarness、行動前にエージェントの記憶を書き換え、7BモデルのALFWorld成功率を85.2%に向上

エージェントの記憶では、「検索後、そのままコンテキストへ挿入する」手法がよく使われる。しかし、過去の軌跡に記述されたオブジェクトの位置、利用可能な操作、中間状態が、新たなタスクにも当てはまるとは限らない。MemHarnessは、このプロセスを観察、検索、批判、再構成、行動の5段階に分ける。エージェントはまず経験データベースから関連する原則を3件抽出し、次に同じポリシーモデルが現在の状態と矛盾する内容を判断し、最後に実行可能な指針へと書き換える。重要なのは、文章を整理するために別の汎用LLMを追加することではなく、記憶の適応能力と行動ポリシーを環境からのフィードバックによって同時に学習させる点だ。

研究ではQwen2.5-7B-Instructをバックボーンに採用し、まず200件のマルチターン対話軌跡と200組の軌跡要約でコールドスタートを行った後、GRPOで学習した。経験データベースは当初空で、学習中にポリシーモデルが自身の軌跡から原則を抽出する。ベクトル検索にはBGE-M3を使用した。各プロンプトにつき8本の軌跡をサンプリングし、合計128個の並列環境を使用。成功報酬は10、失敗は0とし、さらに小さなフォーマット報酬を加えた。

テキストベースの家庭内操作環境ALFWorldでは、MemHarnessの6種類のタスクにおける平均成功率は85.2%で、純粋なGRPOは76.4%だった。WebShopのショッピングエージェントでは、66.1%から75.6%へ向上した。一方、書き換えていない記憶をそのまま注入すると、ALFWorldの成功率は逆に70.1%まで低下した。これは、検索内容を増やすことが負の転移を引き起こし得ることを示している。未知の部屋構成とオブジェクト配置を用いたALFWorldのOODテストでは、MemHarnessが85.9%、記憶をそのまま再生するベースラインが76.3%だった。内部の再構成モジュールを汎用Qwen2.5-7Bに置き換えた場合も、ALFWorldのスコアは85.2%から77.7%へ低下した。

この結果は、長期間稼働するカスタマーサービス、ブラウザ、ロボットの各エージェントに直接的な示唆を与える。記憶レイヤーは再現率だけを追求するのではなく、状態に応じて記憶の適用可能性を検証する必要がある。ただし、比較対象は依然として2つのシミュレーション環境に限られている。また、一部のクローズドモデルのスコアは特定のプロンプトと対話予算に基づくため、一般的な能力ランキングとは見なせない。論文では、コード、チェックポイント、学習に要したGPU時間、記憶の書き換えによる追加レイテンシも公開されていない。実運用に向けては、より長い軌跡、取り消し不能なツール操作、汚染された記憶のもとで、再構成器が誤った経験をさらに説得力のある形に書き換えてしまわないかを検証する必要がある。