FinEvo-Bench、120の金融タスクでエージェントのタスク横断的進化を測定、Codexはペア比較で19.37ポイント向上

新たに公開された[FinEvo-Bench](https://arxiv.org/abs/2608.06144)は、「エージェントは実務経験から成長する」という主張を測定可能な命題にしようとするものだ。データセットは6つの金融分野、20種類の業務シナリオ、120件の複数ファイル形式のタスクで構成され、計775件の入力文書を収録する。各シナリオには、同じ専門的なワークフローに従いながら、事実と結論が異なる6つのケースが含まれる。研究者は全タスクをランダムに交互配置した3本のシーケンスを作成し、関連ケースの間に別の作業を挟んだうえで、経験を保持するエージェントとタスクごとに状態を消去するエージェントを比較した。

4種類のラッパーはいずれもQwen3.7-Max、temperature 0、同一のタスク順序を採用し、経験を保持する仕組みだけが異なる。Claude CodeとCodexはスキルおよび記憶へ書き込むことができ、Lettaはコンテキストへ継続的に注入される編集可能なメモリーブロックを使用する。GenericAgentはMarkdown形式の経験ファイルを保存する。この構成は、[Lettaの公式ドキュメント](https://docs.letta.com/v1-sdk/concepts/stateful-agents)に記載された永続状態の設計とも一致する。ペアとなる対照群と比べ、4システムの平均スコアは9.33～19.37ポイント向上し、タスク当たりのコンプライアンス上の問題は0.12～0.44件減少した。最終スコアはLettaが91.65で最高となり、改善幅はCodexが19.37ポイントで最大だった。

経験の保持手段に関するアブレーションは、エンジニアリングチームにとってさらに注目に値する。Claude Codeはスキルのみを進化させた場合に93.71ポイント、タスク当たりのコンプライアンス上の問題0.05件を記録し、記憶のみを使う場合や両方を併用する場合を上回った。また、欠落項目や違反項目を示すrubricベースのフィードバックは、完全な参照解答を提供する場合よりも3.95～7.93ポイント高い結果となった。これは、個別ケースの解答を保存するより、再利用可能な手順やチェックルールのほうが転移しやすいことを示唆している。

ただし、採点は引き続きClaude Opus 4.6エージェントが担当している。金融専門家1名との絶対一致度を示すICCは0.95に達したものの、検証対象は120件の出力からなる1バッチに限られた。また、全実験で使用された基盤モデルは1種類のみで、対象も金融分野と非パラメトリックな更新に限定されている。この結果だけから、ほかのモデルや専門業務でどのエージェント・アーキテクチャが最良かを判断することはできない。次の段階では、異なるモデルによる再実験、データと評価コードの公開、さらに長期的な経験の蓄積によって誤った経験が記憶を汚染しないかを検証する必要がある。