TEPA、期限切れのエージェントメモリを取り消し、反転タスクの成功率を21.0%から95.0%へ向上

エージェントメモリは通常、「この内容は関連しているか」だけを判断する。これに対しTEPAは、「それが現在も有効か」も同時に判定するようシステムに求める。研究チームは観測データを、conflict key、証拠、状態、矛盾の履歴を持つ precedent（先例）として記録した。同じキーに対して十分な反証が現れると、古い項目は active から revoked に移行し、通常の検索対象から外れる。ただし、監査や将来の再有効化に備えてアーカイブ領域には保持される。完全版ではさらに、支持証拠、反事実、汚染チェックによって更新候補を検証し、一度の誤ったツール実行結果が長期知識を直接上書きするのを防ぐ。

各シードに160件のタスクを含む計50シードの隠れたルール反転実験では、完全反転フェーズにおけるappend-onlyとlast-write-winsの成功率はいずれも0.210で、メモリなしの0.309さえ下回った。一方、TEPAは0.950に達した。実際のファイル読み書きとツール実行を使用した場合、前者3方式はそれぞれ0.203、0.203、0.298だったが、TEPAは引き続き0.950を記録した。取り消し機構を削除するとスコアは0.211まで低下した。この結果は、主な改善が単にプロンプトへ情報を追加したことではなく、期限切れのprecedentをactive setから除外したことによるものだと示している。

外部ベンチマークMemoryAgentBenchのSH-6kでは、結果はより控えめだった。TEPAのsubstring exact matchは0.890で、キーごとに最新値を保持する単純なキャッシュと同等にとどまった。SH-32kでは0.680、MH-6kではわずか0.040まで低下し、SH-262kではゼロだった。この手法が解決するのは単一の事実のライフサイクルであり、マルチホップの推論チェーン構築や超長文コンテキストからの情報選択ではない。もう一つの制約は、実験で構造化されたconflict keyを使用している点だ。キーに20%のノイズを加えると、反転成功率は0.777まで低下した。本番システムにとって有用なのは、validityとrelevanceを分離して保存するという考え方である。しかし、オープンエンドなメモリからconflict keyを確実に抽出する方法に加え、論文が独立した実装リポジトリを提供していないことも、再現に先立って解決すべき課題として残る。