AI 研究
代理記憶該讀多少?新研究揭示模型差異與整理風險
IBM 團隊的測試顯示,完整記憶庫未必勝過少量精選指南;保存經驗、每次讀取多少,以及整理後能否追溯依據,需要分開設計。
替 AI 代理接上長期記憶庫後,每次該讓它讀多少經驗?IBM 團隊的新研究報告:DeepSeek-V3.2 使用完整指南集時表現最佳,gpt-oss-120b 則以少量精選指南取得較高完成率。對部署者,這意味著記憶庫保存多少,與每次交給模型多少,應分開設定;結果尚不足以推成所有模型的通則。研究摘要
論文於 2026 年 11 月 19 日提交,整理團隊建置與部署 altk-evolve 的經驗,並非一套剛推出的記憶功能。這個開源工具把代理過往執行紀錄轉成可重用的文字指南,不更新模型權重;專案也已提供安裝方式與記憶擷取介面。論文紀錄、專案說明
少量精選,何時勝過全部讀取?
作者在 AppWorld 模擬環境中,讓代理撰寫並執行 Python 操作應用程式 API。主要比較使用 test_normal 的 168 題;任務完成率要求通過該題全部檢查。各模型從自己的訓練與開發集紀錄產生指南,並非讀取同一份記憶。評估設定
DeepSeek-V3.2 的完成率從無記憶時的 79.8%,升至讀取全部 191 條指南時的 89.3%,增加 9.5 個百分點。gpt-oss-120b 從 39.9% 升至完整 199 條指南下的 51.2%;改用約 29 條精選指南,兩次執行平均達 55.4%。結果表二
這些是作者的任務評估,沒有獨立重現佐證。配置直接在測試集上比較與選擇,多數結果僅執行一次;因此數字可支持「讀取量值得調整」,不能當成已確立的最佳設定,也不是本地推論速度測試。測量限制
整理記憶,也可能丟掉判斷依據
altk-evolve 的公開介面可調整擷取量,並回傳指南的來源任務 ID,方便追查建議從何而來。這是專案提供的能力,並不等於指南內容已被驗證正確。介面說明
論文記錄,早期整理流程曾在重建中繼資料時,漏掉支持次數等來源欄位。另一個案例更直接:一條反覆出現的分頁指南,讓代理誤判資料已取完、漏掉後續頁面,最後由作者手動修正。所謂「支持次數」,只是有多少經驗被合併成同一條指南,不能當成正確性的票數。整理與分頁案例
部署時,把保存與讀取拆開檢查
專案目前提供依任務擷取指南、設定固定核心與額外讀取量的工具,因此開發者可以保留較完整的經驗,再控制每次送入模型的內容。公開工具
從研究案例可推導的實務做法是:除了比較任務分數,也確認指南能否追溯、整理前後的來源欄位是否保留,以及原本成功的任務是否被新指南帶偏。這是編輯根據案例提出的部署建議,並非研究已驗證的一套可靠性指標。