ContinualSkillBench、エージェントの「スキル蓄積」による進歩の大半はコンテキスト適応で説明可能と指摘

多くのエージェントフレームワークでは、モデルがタスク完了後にプロンプト、スクリプト、操作手順を作成し、後続の作業で呼び出せるよう外部のスキルライブラリへ追加できる。しかし、既存の評価では最初と最後のタスクの成功率のみを比較することが多く、真のスキル抽象化、過去の回答の単純な記憶、エラーのフィードバックに基づく一時的な適応といった異なるメカニズムを区別しにくい。

この課題に対応するため、ContinualSkillBenchは動的評価を構築した。5つの代表的な領域に、それぞれ相互に関連する100件のサブタスクを難易度順で収録し、タスク間で再利用できる手順を意図的に組み込んでいる。エージェントはタスクを順番に実行しなければならないため、研究者は履歴なし、インタラクションのコンテキストを保持する設定、スキルライブラリを明示的に構築・維持する設定を比較し、新たなスキルが後続の異なるタスクで転移可能な効果をもたらすかを観察できる。

論文によると、タスクを順次実行することで通常は全体的な性能が向上するものの、その改善幅はモデルや領域によって大きく異なる。さらに重要なのは、既存のコンテキストのみを保持するin-context learningが、明示的なスキル管理と平均で同程度の成績を達成できる点だ。これは、いわゆる「自己進化」の多くが、過去の試行と評価をモデルが参照したことによる短期的な適応にすぎない可能性を示している。明示的なスキルは、固定された手順や厳密な出力形式を必要とするタスクでは選択的な優位性をもたらす。一方、能力の低いモデルほど、断片的で単一タスクにしか適用できないスキルをより多く蓄積しやすい。

この結果は、スキルベースのエージェントについて、評価単位を「ライブラリに何個のファイルが追加されたか」から、「元の軌跡を取り除いた後も、スキルが新しいタスクの成功率を独立して向上させられるか」へ変更する必要性を示している。現時点で論文のアブストラクトページにはコードへのリンクが掲載されておらず、使用するモデル、コンテキスト長、スキルのクリーンアップ戦略によっても結論が左右される可能性がある。今後は、公開評価環境、モデルをまたいだ再現、そしてスキルの統合・廃止・バージョン回帰テストが長期的な転移可能性を改善できるかが注目される。