エージェント記憶はサブタスク単位に分割すると転移の信頼性が向上、テキストスキルがコードを平均2.9ポイント上回る

エージェントが成功した軌跡から「スキル」を蓄積しても、使うほど性能が向上するとは限らない。[新たな研究](https://arxiv.org/abs/2608.20274)では、スキル記憶を2つの設計軸に分けて検証した。1つ目は、タスク全体の終了後にスキルを抽出するか、タスクを先に分解して各サブタスクから抽出するか。2つ目は、自然言語による操作メモとして保存するか、パラメータ化されたPython関数として保存するかである。各設定は、同一エージェントの記憶なしバージョンと比較され、スキル自体による正の転移と負の転移が切り分けられた。

実験は、[AppWorld](https://github.com/StonyBrookNLP/appworld)の複数アプリにまたがる417タスク、OfficeBenchの文書ワークフロー300タスク、KramaBenchの科学データ分析92タスクを対象とした。使用モデルにはQwen3、GPT-OSS-120B、Nemotron-Super-120B、Gemma 3、Gemini 3.1 Proが含まれる。モデル横断の平均では、タスク全体から抽出したスキルにより、成功率は各モデルの記憶なしベースラインと比べて、テキスト形式で1.2ポイント、コード形式で4.1ポイント低下した。一方、サブタスクから抽出したスキルでは、それぞれ1.9ポイントと0.5ポイント向上した。抽出粒度を固定した場合、テキストスキルはコードスキルを平均で2.9ポイント（サブタスク）および1.4ポイント（タスク全体）上回った。ただし、個別の結果には大きなばらつきがある。例えばGPT-OSS-120Bは、AppWorldでタスク全体から抽出したコードスキルを追加すると、成功率が27.3%から1.0%へ低下した。

研究チームはさらに、「具体性」と「抽象性」の積からskill utilityを算出し、実行前に過度に特化した記憶や過度に一般化された記憶を除外しようとした。しかし、KramaBenchの統制比較では、高スコアのスキルは低スコア群をわずかに上回っただけで、信頼できるゲートとして使うには不十分だった。エージェントエンジニアにとって、この結果は、記憶の単位を再構成可能な操作ステップに設定し、解法全体や壊れやすいコードをそのまま再投入するのではなく、環境上の制約を含むテキスト手順を優先して保存すべきことを示唆している。今後はコードとスキルライブラリの公開を待ち、異なるretriever、タスク順序、オンラインでの継続的な更新という条件下でも結果を再現できるかを確認する必要がある。