ホームへ戻る

AI 研究

エージェントの記憶はどれだけ読ませるべきか? 新研究がモデル間の違いと整理のリスクを明らかに

IBMチームのテストでは、記憶庫全体を読ませても、厳選した少数のガイドを読ませる場合を上回るとは限らなかった。経験をどれだけ保存するか、読み込み量をどれだけにするか、整理後に根拠をたどれるかは、分けて設計する必要がある。

zh-Hant

AIエージェントに長期記憶庫を接続したとき、毎回どれだけの経験を読ませるべきだろうか。IBMチームの新たな研究報告によると、DeepSeek-V3.2はガイド一式をすべて使った場合に最も高い性能を示した一方、gpt-oss-120bは厳選した少数のガイドで完了率が高くなった。導入する側にとっては、記憶庫にどれだけ保存するかと、毎回モデルにどれだけ渡すかは分けて設定すべきということになる。ただし、この結果からすべてのモデルに当てはまる一般則を導くには、まだ不十分だ。研究概要

論文は2026年11月19日に投稿されたもので、チームがaltk-evolveを構築・導入した経験をまとめている。新たに公開された記憶機能ではない。このオープンソースツールは、エージェントの過去の実行記録を再利用可能なテキストガイドに変換する。モデルの重みは更新しない。プロジェクトでは、インストール方法と記憶を取得するインターフェースも公開されている。論文の記録、プロジェクトの説明

厳選した少数のガイドが、すべてを読ませるより有効なのはどんなときか?

著者らはAppWorldシミュレーション環境で、エージェントにアプリケーションAPIを操作するPythonコードを書かせ、実行させた。主な比較にはtest_normalの168問を使用し、各問題のすべてのチェックに合格した場合にタスク完了と判定した。各モデルのガイドは、それぞれのモデルの訓練・開発データセットの記録から作成されており、同じ記憶を読み込ませたわけではない。評価設定

DeepSeek-V3.2の完了率は、記憶なしの79.8%から、191件のガイドをすべて読ませた場合の89.3%に上昇し、9.5ポイント増えた。gpt-oss-120bは、記憶なしの39.9%から、199件すべてを使った場合に51.2%へ上昇した。約29件の厳選ガイドを使うと、2回の実行の平均は55.4%に達した。結果表2

これらは著者によるタスク評価であり、独立した再現実験による裏付けはない。設定の直接比較と選択はテストセット上で行われており、結果の大半は1回しか実行されていない。そのため、数値は「読み込み量を調整する価値がある」ことを示すものではあるが、最適な設定が確立されたとは言えず、ローカル推論の速度を測った結果でもない。測定上の制約

記憶を整理すると、判断の根拠まで失うことがある

altk-evolveの公開インターフェースでは、取得するガイドの数を調整でき、各ガイドの出典となったタスクIDも返されるため、提案の由来をたどれる。これはプロジェクトが提供する機能であり、ガイドの内容が正しいと検証済みであることを意味するわけではない。インターフェースの説明

論文によると、初期の整理プロセスでは、メタデータを再構築する際に、支持回数などの出典フィールドが抜け落ちたことがあった。別の事例では、繰り返し現れたページネーションのガイドによって、エージェントがデータをすべて取得し終えたと誤判定し、後続ページを取りこぼした。最終的に著者が手作業で修正した。「支持回数」とは、何件の経験が同じガイドにまとめられたかを示すもので、正しさへの票数として扱うことはできない。整理とページネーションの事例

導入時は、保存量と読み込み量を分けて確認する

プロジェクトは現在、タスクに応じてガイドを取得するツールと、固定のコアガイドおよび追加の読み込み量を設定するツールを提供している。そのため開発者は、より多くの経験を保存したまま、毎回モデルに渡す内容を制御できる。公開ツール

この研究事例から導ける実務上の対応として、タスクのスコアを比較するだけでなく、ガイドの出典をたどれるか、整理の前後で出典フィールドが保持されているか、もともと成功していたタスクが新しいガイドによって誤った方向へ導かれないかも確認するとよい。これは事例を踏まえた編集上の導入提案であり、研究で検証済みの信頼性指標一式ではない。

出典

  1. How Much Should an Agent Remember? Deployment Lessons from Self-Distilled Memory for LLM Agents
  2. How Much Should an Agent Remember? Deployment Lessons from Self-Distilled Memory for LLM Agents
  3. GitHub - AgentToolkit/altk-evolve: Self improving agents through iterations