代理系統/記憶工程
代理換模型後可能「帶著記憶卻忘記事情」:固定結構比自由文字摘要更耐遷移
一項受控研究顯示,代理保留原有記憶庫並不代表模型升級後仍能正確使用它。固定 schema 知識圖幾乎不受寫入模型更換影響,自然語言摘要與混用新舊 embedding 的索引則可能無聲退化。

模型升級不只需要重跑能力評測,外部記憶也應被視為具有版本相依性的執行元件。9 月 7 日進入 arXiv 新稿清單的研究,將同一批歷史分別保存成完整原文(LC-RAW)、切塊檢索(RAG)、模型壓縮的自然語言筆記(NOTES),以及固定 schema 的主詞—關係—受詞知識圖(KG-fixed),再更換負責讀取或寫入記憶的模型。
實驗使用 48 組合成歷史,每組包含 160 個可精確驗證的問題;答案代碼經隨機化,避免模型從預訓練資料猜中。模型則固定為 Llama-3.1-8B-Instruct 與 Qwen2.5-7B-Instruct-1M。結果顯示,更換筆記寫入模型後,KG-fixed 準確率僅變動 `+0.0004 ± 0.0020`;NOTES 卻依遷移方向分別變動 `+9.91` 或 `-13.28` 個百分點,說明摘要內容與表述方式會和產生它的模型耦合,單向測試也不足以預測反向遷移。
RAG 的風險位於另一層。研究把 BGE Large English v1.0 升級至同為 1,024 維的 v1.5;兩種向量雖能存進同一索引,卻不屬於同一表示空間。只重算一半資料的混合索引僅取回 4.96 個百分點改善,完整重建則改善 11.90 點。系統不會出現維度錯誤,品質卻已下降。
修復結果更具操作意義:只利用既有 NOTES 重寫,在 48 組測試中沒有一組恢復至新模型自建記憶表現的 90%;保留原始歷史後,其中一個遷移方向有 34 組達標。工程團隊因此應保存可追溯原文、隔離不同 embedding 版本,並把寫入者、讀取者及索引器版本納入遷移矩陣。不過這仍是兩款 10B 以下模型與合成歷史的預印本;固定 schema 的優勢也部分來自任務欄位預先已知,尚不能直接外推至開放式個人助理。