EnvACE、エージェント自身にツール環境を演じさせ、Qwen3-8Bが3つのベンチマークで平均32.91%を達成

長いワークフローをこなすツールエージェントの訓練には、通常、実行可能なWebサイト、データベース、またはサービスシミュレーターが必要であり、その構築・検証コストはタスクの種類が増えるにつれて急速に膨らむ。EnvACEは「world rehearsal」を提案する。同一の言語モデルがまずエージェント役としてツール呼び出しを生成し、続いて環境役へ切り替わり、そのアクションによって得られるはずのツール出力またはユーザー応答を予測する。次の意思決定では、ツールを実際に実行する代わりに、この自己生成した観測を直接参照する。

2つの役割はパラメータを共有する一方、それぞれ独自のGRPOアドバンテージベースラインを使用し、最終的にはタスク成功報酬によって共同で更新される。この設計は独立したシミュレーターとは異なる。環境ダイナミクスは訓練データを提供するだけでなく、実際の意思決定方策そのものへ書き込まれる。推論時には、モデルが複数の軌跡を並列または逐次的に想像し、その結果をrehearsal memoryへ圧縮したうえで、実環境に対してアクションを1回だけ送信することもできる。

著者らは16基のNVIDIA H20を使用し、Qwen3-8Bを470ステップ訓練した。各プロンプトにつき4本のrolloutを生成し、軌跡の最大長を30ターンとし、Qwen3-30B-A3Bを評価モデルとして用いた。EnvACE-8BはBFCL V4、τ²-Bench、VitaBenchの3ベンチマークで平均32.91%を記録し、全項目の結果が揃っているEnvScaler-8Bを0.99ポイント上回ったが、一部項目が未報告のAWM-14Bには及ばなかった。FinMCP-BenchにおけるツールF1は46.78%で、EnvScaler-8Bを3.10ポイント上回った。条件を統制した比較でも、τ²-Benchのスコアは標準GRPOの31.2%から36.7%へ向上した。

公開実装には訓練、SGLang、verl、Dockerの設定が含まれるが、モデルの重みは依然として後日公開予定と記載されている。最大のリスクは、「自己整合的」であることが「実環境に適合している」ことを意味しない点だ。方策が誤った応答を幻覚すると同時に、その誤った世界で高得点を得る方法を学習する可能性がある。現時点の研究は8B規模にとどまり、テスト時のrehearsal結果も1回しか実行されていない。今後は、実際のツール状態とのずれ、セキュリティ上重要な書き込み操作、そして想像する軌跡を増やした際に誤りが累積するかどうかを検証する必要がある。