EnvHarness、検証器を変更せずにエージェント訓練環境を再構成、ALFWorldのドメイン外性能を9ポイント向上

Google Cloud AI Research、セントルイス・ワシントン大学などのチームは、エージェント訓練環境の構築コストが高く、内容が固定されているうえ、モデルがすぐに「学習し尽くして」しまう問題の解決を目指す[EnvHarness](https://arxiv.org/abs/2608.19880)を公開した。シミュレーター全体を再生成するのではなく、既存環境の`reset`、`step`、観察、評価インターフェースの外側にプログラム可能なラッパー層を追加する。基盤となる状態遷移と人手で作成された検証器は変更しない。

[オープンソース実装](https://github.com/google-research/envharness)では、コンポーネントをSetup、Rules、Linkに分類している。Setupはアクションを再実行して初期状態を変更し、Rulesはアクション、遷移結果、観察をフィルタリングする。Linkは別環境のタスクを同じエピソード内に連結する。論文ではStage、Contract、Chainという名称が使われており、概念は同じだが命名にはすでに差異がある。LLMが生成するRulesは実行可能なPythonコードであり、フレームワークはこれを隔離されたサブプロセス内で実行することで、誤った変更によって実験バッチ全体が停止するのを防ぐ。

自動化を担うEnvRiggerは、訓練対象のエージェントをブラックボックスとして扱い、成功および失敗の軌跡を読み取って不足点を診断する。その後、環境コンポーネントを生成し、新たなrolloutによって、引き続き解答可能であることと、実際に弱点へ対処していることを検証する。元の評価器を維持するため、タスクと検証器を同時に生成する手法よりも結果の比較可能性を保ちやすい。

チームはALFWorld、WebArena、SWE-bench Verified、OfficeQA、SpreadsheetBenchでテストを実施した。EnvHarness環境からスキルを抽出した結果、ALFWorldのドメイン外成功率は、元の環境から得たスキルの61.4%から70.4%へ上昇した。SWE-bench Verifiedでは49.88%から52.58%へ向上し、平均ステップ数は55.01から49.61へ減少した。各表の値は3回の独立実行の平均だが、絶対値はGeminiによるものであり、保存されたスキルも特定の埋め込み空間に依存している。エンジニアリングチームが今後注視すべき点は、モデルをまたいだ再現性、生成コードに対するサンドボックスの境界、そしてラップされた環境で学習した方策がインターフェース上の近道を利用していないかどうかである。