エージェントはモデル移行後、「記憶を保持したまま内容を忘れる」可能性：自由記述の要約より固定構造の方が移行に強い

モデルのアップグレード時には、能力評価を再実行するだけでなく、外部メモリもバージョン依存性を持つ実行コンポーネントとして扱う必要がある。9月7日に arXiv の新着論文リストへ追加された研究では、同一の履歴群を、完全な原文（LC-RAW）、チャンク単位の検索（RAG）、モデルが圧縮した自然言語メモ（NOTES）、固定 schema に基づく主語—関係—目的語形式の知識グラフ（KG-fixed）としてそれぞれ保存し、その後、メモリの読み取りまたは書き込みを担うモデルを変更した。

実験では48組の合成履歴を使用し、各組に厳密な検証が可能な160問を含めた。モデルが事前学習データから正解を推測できないよう、回答コードはランダム化された。使用モデルは Llama-3.1-8B-Instruct と Qwen2.5-7B-Instruct-1M に固定された。結果によると、メモの書き込みモデルを変更した際、KG-fixed の精度変化はわずか `+0.0004 ± 0.0020` だった。一方、NOTES は移行方向によって、それぞれ `+9.91`ポイントまたは `-13.28`ポイント変化した。これは、要約の内容や表現方法が、それを生成したモデルと密接に結び付いていることを示しており、一方向のテストだけでは逆方向への移行結果を予測できないことも意味する。

RAG のリスクは別の層に存在する。研究では BGE Large English v1.0 を、同じ1,024次元の v1.5 にアップグレードした。両者のベクトルは同じインデックスへ保存できるものの、同一の表現空間には属していない。データの半分だけを再計算した混在インデックスによる改善は4.96ポイントにとどまったのに対し、インデックスを完全に再構築すると11.90ポイント改善した。システムに次元数のエラーは発生しないが、品質はすでに低下している。

修復結果は、実運用上さらに重要な示唆を持つ。既存の NOTES だけを使って書き直した場合、48組のテストのうち、新しいモデルがメモリをゼロから構築した場合の性能の90%まで回復したものは一つもなかった。原文の履歴が保存されていた場合は、一方の移行方向で34組がこの基準に達した。したがって、エンジニアリングチームは追跡可能な原文を保存し、異なる embedding バージョンを分離するとともに、書き込みモデル、読み取りモデル、インデクサーの各バージョンを移行マトリクスへ組み込むべきである。ただし、これは10B未満の2モデルと合成履歴を対象にしたプレプリントにすぎない。また、固定 schema の優位性は、タスクのフィールドが事前に定義されていたことにも一部由来しており、その結果をオープンエンドなパーソナルアシスタントへ直接一般化することはできない。