AgentLens、コーディングエージェントの評価を本番環境の軌跡へ移行し、夜間回帰テストと失敗診断を支援

AgentLensは、コーディングエージェントの評価で一般的に見落とされる点に対し、「本番評価の軌跡レビュー」という手法を提案している。従来のSWE系ベンチマークは通常、最終的にテストに合格したかどうかだけを確認する。しかし、本番環境のエージェントは、検索を繰り返したり、無関係なファイルを変更したり、ツールを誤用したり、過剰なtokenを消費したりする可能性がある。また、偶然テストに合格しても、脆弱な実装を残すことがある。そこでAgentLensは、エージェントと環境のインタラクションの全軌跡を分析対象に含め、チームが最終的な正確性、アクションの品質、失敗モードを同時に観察できるようにする。

著者らによると、この手法を使って自社エージェントの連続するバージョンを比較し、夜間評価パイプラインでプロダクトの回帰を検出してきたという。ベンチマークとツールはオープンソースで公開されている。このアプローチはエージェントエンジニアリングに適している。モデル、system prompt、ツールschema、sandbox、パッケージバージョンのいずれかが変わるだけで、成功率は変わらなくても、コストやリスクが増加する可能性があるためだ。結果を軌跡単位で保存すれば、失敗を計画ミス、情報収集の不足、実行エラー、検証不足、早すぎる停止に分類し、修正可能なシステムコンポーネントへ対応付けることもできる。

一方、軌跡のスコアリングは新たな主観性も持ち込む。言語モデルを使ってエージェントの挙動をレビューする場合、評価モデルが特定のスタイルを好む可能性があり、長い軌跡のレビューには相応のコストがかかる。本番環境の課題が単一のプロダクトに由来する場合、ほかのライブラリやチームのワークフローを必ずしも代表するとは限らない。導入時には、実行可能なテスト、静的ルール、人間によるサンプリングレビュー、軌跡レビューを階層的に組み合わせ、モデルと環境のバージョンを保存したうえで、成功率だけでなく、token数、ツール呼び出し回数、所要時間、破壊的操作についても報告すべきだ。