GDPevo、ルール再構成でテストしエージェントの自己進化を検証――完全なプロンプトは依然として自律学習を30ポイント以上上回る

エージェントの「自己進化」は、記憶の蓄積、スキル文書、ワークフローの変更などによって実装されることが多い。しかし、テストスコアの向上が必ずしも新たなルールを本当に学習したことを意味するとは限らず、単に似た問題に再び遭遇しただけの可能性もある。8月4日に公開されたGDPevoは、この帰属の問題を切り分けようとする試みだ。研究チームは、CRM、ERP、財務、医療、法律、データ分析、エンジニアリング運用のプロセスを原子的なビジネスルールへ分解し、その一部を5つの訓練タスクに分散させたうえで、5つのホールドアウト・テストタスクとして再構成した。これにより、テスト課題は訓練課題を直接繰り返すことなく、エージェントには過去に獲得したプロセス知識の転用が求められる。

現在、リポジトリでは24セット、計240タスクに加え、データ構築パイプライン、ルールベースのスコアラー、各実験のレポートが公開されている。チームは、進化なし、訓練入力のみの参照、自己学習、正解例を与えるfew-shot、3ラウンドのレビュアーフィードバックを受けてワークフローを整理する方式などを比較した。Claude CodeとOpus 4.8の組み合わせでは、ベースラインの正解率が49.11%、自己学習では57.37%、3ラウンドのリフレクションでは62.72%に達した。回答例を直接与えた場合は70.90%だった。自律的な進化による改善幅はモデルや実行フレームワークごとに一貫しておらず、「モデル能力」と、記憶、ツール、プロンプトで構成されるharnessの効果を切り分けて評価することの難しさを示している。

技術的な価値は、データパイプラインによって新しいタスクセットを迅速に生成できる点にある。著者らによると、V1の120問を2日以内に240問へ拡張できたため、評価側は問題をローテーションすることで汚染リスクを抑えられる。ただし、エンジニアリングチームはこれを企業環境への導入成功率として扱うべきではない。課題は自動化されたパイプラインで生成され、評価の多くもルールに基づいているため、実際の組織に存在する権限管理、曖昧な要件、長期的な状態のドリフトまではまだカバーしていない。今後は、他のチームが結果を再現できるか、またエージェントが蓄積した戦略が、異なるセットや業界をまたいだ場合、あるいはバージョン更新後にも有効であり続けるかを注視する必要がある。