Environment Evolution、オフポリシー戦略でターミナル訓練の難易度を向上、2つのQwenエージェントが14.4ポイント、18.0ポイント改善

Tencent Hunyuanと共同研究者らは、ターミナルエージェント訓練における環境の飽和問題の解決を目指す「Environment Evolution」を提案した。既存の共進化手法では通常、まず対象モデルにタスクをrolloutさせ、その失敗事例を基に、より難しい環境を生成する。しかし、モデルが次第に強くなると失敗シグナルが減少するうえ、生成される難易度が特定のモデルに依存しやすい。新手法は、複数ラウンドにわたる学習目標からオフポリシーの難易度を導出し、その要因を状況の新規性、スキルの希少性、予想実行時間に分解することで、現在訓練中のエージェントの合格率に依存しない仕組みを採用している。

実装には、マルチエージェントと2つのフィードバックループが用いられる。第1のループでは環境進化計画を提案して審査し、第2のループでは計画に従って環境を変更した後、解決可能性と品質の検査に合格するまで修正を繰り返す。採用された各環境は次世代の起点となり、世代を追うごとに難しくなるlineageを形成する。ある方向で修正予算を使い切った場合、システムは別の難易度軸へ切り替える。一度に大量のタスクを合成する方式とは異なり、訓練中も識別力を維持した、検証可能な対話型環境を継続的に供給することが狙いだ。

著者らはHy4 preview、Claude Opus 5、GPT-5.6 Solでrolloutを実行し、いずれのモデルも世代が進むにつれて難易度の上昇を示したとしている。続いてQwen3.6-27BとQwen3.6-35B-A3Bを対象に、200ステップの長期強化学習を実施した。Terminal-Bench 2.1では、それぞれ14.4ポイントと18.0ポイント改善し、最高スコアは71.5％と64.9％に達した。いずれも論文に記載された共進化ベースラインおよび環境構成ベースラインを上回った。

ただし、これらの数値を一般的なソフトウェアエンジニアリングエージェントへ直接一般化することはできない。この論文は査読前のプレプリントであり、付録でも、さらなる詳細や「同一モデルが環境を生成し、その環境から学習する」実験は今後の版に持ち越されると認めている。現時点では、完全なコード、環境イメージ、訓練データの公開も確認できない。今後は、モデルやベンチマークをまたいだ再現性に加え、世代ごとの合成と検証によって増加する推論コストおよび計算コストを注視する必要がある。