VaG、スキル書き込み前にエージェント汚染を遮断、Terminal-Benchサブセットで72%のpass@1

エージェントに成功軌跡を永続的なスキルとして整理させる手法は、重みを更新せずに継続学習を実現する方法として捉えられることが多い。しかし新たな研究は、この能力がスキル数に応じて単調に向上するわけではないと指摘する。誤ったスキルがいったん実行コンテキストに入ると、その後のスキル蒸留が推論内容を新たなエントリへ取り込み、ラウンドをまたぐ汚染チェーンを形成する可能性がある。後から発生源を削除しても、誤ったロジックは子孫スキルに残り続ける。

研究チームは、Terminal-Bench 2.0の50問からなるEvent-50サブセットを使い、5ラウンドの進化実験を行った。ゲートを設けていないエージェントは第3ラウンドでピークに達した後、性能が低下し、ピークから第5ラウンドまでに約12.3パーセントポイントを失った。有害と判定された8件の発生源スキルだけを削除しても、回復したのは約1.7ポイントにすぎなかった。さらに、完全な来歴情報を使って派生チェーン全体を除去しても、低下幅の半分近くは回復しなかった。これは、スキルライブラリが最終的なテキストだけでなく、生成時に使用されたコンテキストとlineageも記録する必要があることを示している。

そこでチームは、Verifier-as-Gatekeeper（VaG）を設計した。新しいスキルはまず、プロンプトへ注入されないCold層に入る。frontmatter schemaの検査、ホールドアウト問題に対する単一スキルのA/B replay、さらに捏造・矛盾・危険な提案を検査するLLMによる意味レビューを通過して初めて、Warm層へ昇格できる。第2のゲートでは、限界利得に基づく貪欲選択によってスキルの組み合わせを評価する。共同パフォーマンスを実際に改善したスキルだけが、実行時のHot層に入る。

VaGは第5ラウンドで37件のスキルを使用し、72%のpass@1を達成した。ゲートを無効にしたスキルライブラリは約5倍の規模まで増えたものの、スコアはかえって低かった。アブレーション実験では、behavioral replay、joint selection、semantic reviewを取り除くと、それぞれ10、8、4パーセントポイント低下した。凍結したスキルライブラリは5種類すべてのバックボーンで8～16ポイントの改善をもたらし、InterCode NL2Bashでは69.0%を記録して、ゲートなしの65.5%を上回った。

ただし、主要実験の規模は50問にすぎず、論文自身も中間ラウンドにおける95%信頼区間の幅が約30ポイントに達すると報告している。また、使用されたTerminal-Bench 2.0では、その後2.1版で28問が修正されている。VaGのコードと完全な軌跡はまだ公開されていない。そのため現時点では、すぐに採用できる成熟した手法というより、スキルのライフサイクル設計に対する警鐘として捉えるのが適切だ。