Terminal-Universe、エージェントの操作ログから3万7,000件の実行可能な訓練環境を再構築

ターミナル型のコーディングエージェントは、大量のコマンド、ファイルの読み書き、パッチ適用の軌跡を残す。しかし、一般的な教師ありファインチューニングでは、各軌跡を固定された1つの解答としてしか扱わない。Terminal-Universe は、軌跡の背後にある、より価値の高い資産である「実行可能な環境」の回収を試みる。システムはファイル操作をリプレイし、エージェントによって変更されたファイルを変更前の状態に戻して、不完全なワークスペースを作成する。続いて、補完エージェントが不足しているファイルや依存パッケージを補い、タスク十分性判定器によって、元の要件を満たすのに不十分な環境を除外する。

研究者らは、公開されているターミナルおよびソフトウェアエンジニアリングの軌跡から、68,263件の候補環境を再構築した。決定論的リプレイのみを用いた場合、ターミナルとソフトウェアエンジニアリングのワークスペースの十分性達成率は、それぞれ40.2％と20.1％にとどまったが、エージェントによる補完を加えると93.5％と77.1％に上昇した。汚染フィルタリング、リポジトリ単位の重複排除、十分性チェックを経て、最終的に37,273件の環境が残った。さらにシステムは、2つの方向でデータを拡張した。依存関係を持つワークスペースを組み合わせてリポジトリ横断タスクを作成することと、模擬ユーザーが追加要件を提示することで、単一ターンの問題を複数ターンの変更作業へ拡張することである。

チームは、このデータを使って Qwen3.5-27B を教師ありファインチューニングした。論文によると、Terminal-Bench 2.1 の単一ターンのスコアは11.9ポイント向上し、EvoCode-Bench v2 の複数ターンにおける MT@4 は13.8ポイント向上した。この技術の意義は、既存のエージェントログが単なる訓練用の解答にとどまらず、繰り返し実行でき、新たな問題を生成し、検証フィードバックも提供できる環境ライブラリへ変換可能である点にある。

ただし、再構築に成功したからといって、環境が元の状態に忠実であるとは限らない。補完エージェントが、元のプロジェクトには存在しないファイルや依存関係を生成する可能性がある。また、同系統のモデルがタスク、解答、検証器を同時に作成した場合、誤り同士が整合してテストを通過してしまうおそれもある。データは Python が中心で84.7％を占めており、言語横断での汎化能力はまだ実証されていない。今後は、より多くの環境と生成プログラムを公開し、独立した教師モデルと人手によるサンプリング監査を採用するとともに、重複排除および汚染チェックが、より巧妙なベンチマーク漏洩を防げるかどうかを測定する必要がある。