MemChain、検索後にエージェントの記憶を再構成し、エビデンストレースで回答モデルに渡すコンテキストを短縮

長期記憶エージェントでは通常、「検索結果をそのままエビデンスとする」アーキテクチャが採用される。ベクトル検索で過去の履歴を複数取得し、そのすべてを回答モデルに渡して、関連性の判断や重複情報、矛盾の処理を任せる方式だ。新たな研究で提案されたMemChainは、検索器と回答モデルの間に学習可能なメモリポリシーを追加し、この処理を検査可能な独立した中間層として切り出す。

MemChainはまず、ユーザーの質問に基づいてevidence planを生成する。次に、意味的役割と依存関係に従って候補メモリをgrounded evidence traceへと配列する。最後に、選択、統合、削減などのメモリアクションを実行し、より短いactive memoryを出力する。回答モデル自体は凍結したまま利用できるため、理論上、デプロイ担当者は検索パイプライン全体を再設計することなくバックエンドモデルを置き換えられる。

学習は2段階で行われる。第1段階では、教師ありのトレース学習により、中間モデルが形式的に有効な計画、エビデンスチェーン、アクションを生成できるようにする。第2段階では、Trace-Guided Memory Policy Optimizationを使用する。この強化学習の目的関数は、最終回答だけを評価するのではなく、エビデンスによる裏付け、トレースのグラウンディング、構造の妥当性、さらに異なるrollout間での回答の安定性も同時に制約する。これにより、ポリシーがスコアを高めるために追跡不能な要約を生成することを防ごうとしている。

著者らによると、MemChainは、クローズドモデルまたはオープンウェイトモデルの凍結された回答モデルと組み合わせた場合のいずれでも、LoCoMoとLongMemEval-Sで当時の最高性能を達成し、回答モデルに渡すメモリコンテキストを大幅に削減した。エンジニアリング上の意味は、長期記憶のコスト管理をtop-kの縮小だけに頼る必要はなく、検索後にタスク条件に応じてエビデンスを編成する方法も採れるという点にある。

ただし、要約には直接比較できるtoken数、レイテンシー、学習コストの数値が示されておらず、完全なコードやモデルウェイトも同時には公開されていない。LoCoMo自体も、アノテーション済みの長い対話が10件しかない。LongMemEval-Sも固定された質問応答ベンチマークである。今後は、継続的に情報が書き込まれ、相互に矛盾する実際の企業内メモリにおいてもエビデンス圧縮が信頼性を維持できるか、また、解釈可能なトレースがモデルによって実際に使用された情報に対応しているのか、それとも単にもっともらしく見える別のテキストにすぎないのかを検証する必要がある。