長期記憶の要約が保持した時間表現はわずか3.05%、一文のプロンプトで時系列QAの正解率が31.4ポイント向上

長時間稼働するエージェントは通常、コンテキスト長を抑えるために古い会話を要約する。新たな研究によると、問題は単に「情報量が減る」ことではなく、情報の種類によって不均衡に削除されることにある。研究者はSalience-Weighted Consolidation（SWC）を診断フレームワークとして使用した。まず、後続コンテンツとの類似度、直近性、情報密度に基づいて会話セグメントをスコアリングし、優先度の高いセグメントは原文のまま保持、中程度のセグメントは要約に書き換え、優先度の低いセグメントは破棄する。

実験では、LoCoMoの10件のマルチセッション会話を使用し、4,000 tokenの予算内で、切り捨て、ローリング要約、通常のSWC、時間情報を保護するSWCを比較した。主要な統計は、非敵対的なテキスト問題1,501問を対象としている。回答モデルにはClaude Sonnet 4.6、圧縮と評価にはClaude Haikuを使用した。通常のSWCによる総合評価正解率は37.9%で、ローリング要約の23.8%および切り捨ての17.1%を上回った。これは、構造化された圧縮が人物関係と出来事の連鎖を実際に保持できることを示している。

しかし、問題タイプ別に見ると明確な欠落が現れた。通常のSWCはマルチホップ問題で40.7%、シングルホップ問題で45.9%を記録した一方、時系列問題ではわずか15.6%だった。保持率の分析から直接的な原因も判明した。原文に含まれる952個の時間表現のうち、要約に原文どおり取り込まれたのは3.05%にすぎなかった。これに対し、固有表現と出来事の保持率はそれぞれ8.03%と5.03%だった。要約は「誰が何をしたか」を把握していても、「いつ、どのくらいの期間か」を頻繁に失っていた。

研究者がプロンプトに、日付、時刻、継続時間、年齢、相対時間を原文どおり保持するよう求める一文を追加しただけで、時間表現の保持率は62.39%に上昇した。時系列問題の正解率も0.314、すなわち31.4ポイント向上し、15.6%から47.0%になった。10件すべての会話で改善の方向は一貫しており、人物と出来事の保持率はほぼ変化しなかった。エージェントの記憶設計に対する示唆は明快だ。圧縮仕様では保護対象となるデータ型を明示し、評価も時間、エンティティ、コミットメント、因果関係ごとに階層化すべきである。

ただし、今回の結果は依然として小規模な診断研究にとどまる。研究は単独の研究者によって実施され、検証対象も1種類のSWCパイプラインと一群のClaudeモデルに限られている。また、原文どおりの保持率では意味的に同等な言い換えが見落とされる可能性があり、完全なコンテキストを用いた上限値も2件の会話でしか測定されていない。次の段階では、同じ修正がローリング要約、ベクトルメモリ、ほかのモデルにも適用できるかを検証する必要がある。さらに、時間情報を増やした結果、同様に重要な権限、数値、コミットメントの状態が押し出されないかもテストする必要がある。