EnvACE、単一モデルにエージェントと環境を兼任させ、3つのツール評価の平均総合スコアを32.91%に向上

ツールエージェントの強化学習には通常、実行可能なAPI、データベース、状態遷移が必要であり、こうした訓練環境の構築と検証は、プロンプトの生成よりも高コストになりがちだ。EnvACEでは、同じ言語モデルが2つの役割を交互に担う。まずActorがツール呼び出しを生成し、続いてRehearsal役が、その呼び出しによって生じるはずの環境応答を予測する。予測結果は軌跡に書き戻され、次のステップの行動に利用される。2種類の出力はモデルパラメータを共有する一方、GRPO advantageは役割ごとに別々の報酬ベースラインを用いて計算され、行動とシミュレーションされた応答が同じ分布上で直接比較されることを防いでいる。

主要実験ではQwen3-8Bを470ステップ訓練し、各プロンプトにつき4本のrolloutを生成した。軌跡は最大30ターンで、NVIDIA H20を16基使用した。タスク報酬の一部は検証可能な評価器から得られ、残りにはQwen3-30B-A3Bを判定モデルとして使用した。EnvACEはBFCL-v4、τ²-Bench、VitaBenchにおいて平均総合スコア32.91%を記録し、未訓練のQwen3-8Bの28.48%、EnvScaler-8Bの31.92%、AWM-14Bの32.54%を上回った。FinMCP-BenchでのツールF1は46.78%で、EnvScaler-8Bを3.10ポイント上回ったが、ツール再現率は最高ではなかった。

内部化された環境モデルは、テスト時のリハーサルにも利用された。候補軌跡を非公開で事前にシミュレーションし、その要約を1回の実際の実行に渡す。2本の並列リハーサルにより、指定された2つの評価における総合スコアは36.7%から40.9%へ上昇した。一方、3本に増やすと逆に性能が低下し、著者らはコンテキストの肥大化が原因だと推測している。

エンジニアリング上の重要な疑問は、「ツール出力を自ら想像する」手法が、未知のAPIや急速に変化するAPIに対しても適切に較正された状態を維持できるかどうかだ。モデルが誤った行動を生成すると同時に、その行動に迎合する架空の応答を作り出す可能性がある。また、現時点の結果は依然として著者らの設定、限られたモデルファミリー、ならびに一部のLLM判定モデルに依存している。コードは公開済みだが、リポジトリは開設されたばかりであり、広範な独立再現はまだ行われていない。