代理記憶與檢索
ReFind、意味記憶インデックスを構築せず、未加工のチャット履歴検索でHippoRAG 2を平均5ポイント上回る
ReFindは書き換えていない会話履歴を保持し、エージェントがキーワード、時間、sessionフィルターを繰り返し使って証拠を収集できるようにする。約2,800問のテストでは平均正解率58.2%を達成し、最強の構造化記憶ベースラインの53.2%を上回った。ただし、比較においてすべてのコントローラーとツール予算が統一されていたわけではない。
長期記憶システムの多くは、まず会話を要約、ベクトル、ツリー、または知識グラフに変換し、後日のクエリに備える。新たな研究で提案されたReFindは、その逆のアプローチを採る。未加工の履歴には会話のturn単位で語彙インデックスを作成するだけで、embeddingや意味グラフは生成しない。ReActエージェントは複数ラウンドにわたってキーワードを書き換えながら、session-aware rank fusion、隣接コンテキストの展開、時間範囲の絞り込み、確認済みsessionのスキップという4つの制御を利用できる。収集した証拠は、最後に独立した推論段階へ渡され、回答の生成に使われる。
研究チームはMemoryAgentBenchのsingle-hop、multi-hop、イベント順序付け、事実更新など6つのタスク群で、約2,800問をテストした。同じGPT-4o-mini backboneを使用した場合、ReFindの非加重平均正解率は58.2%で、HippoRAG 2の53.2%と単発のBM25-RAGの48.8%を上回った。multi-hop QAでは、ReFindが69.0%、BM25が56.0%だった。一方、EventQAではReFindが74.1%で、BM25の74.6%をわずかに下回った。これは、単一の明確なイベントを検索する場合、必ずしもエージェント型検索が必要ではないことを示している。
この結果がエンジニアリング設計に示唆するのは、知識グラフがすでに役に立たなくなったということではなく、「先に圧縮し、後で検索する」手法では詳細が早すぎる段階で失われる可能性があるということだ。ReFindではLLMによるインデックス構築コストが発生せず、新しいメッセージも即座に検索できる。その代わり、コストはクエリごとの複数ラウンドのモデル呼び出しへ移るが、論文ではレイテンシとコストの完全な比較は示されていない。
より重要な制約として、一部のベースラインの数値は既存研究から引用されている。著者らも、各システムを完全に同一のコントローラーおよびtool-call予算の下で再実行してはいないと認めている。また、LongMemEvalの一部の結果はGPT-4.1-miniをjudgeとして用いた評価に依存しており、人間との一致度に関する研究も行われていない。今後は、公開実装、エンドツーエンドのコスト、そして正確な事実ではなく意味的に曖昧な問題でも語彙検索が優位性を維持できるかどうかを検証する必要がある。