FACET、実行環境を先に構築してからターミナルタスクを生成、9Bエージェントのスコアが8.24ポイント向上

ターミナルエージェント向けの合成データは通常、相互に依存する4つの要素、すなわちユーザー指示、事前構成済み環境、参照解法、実行可能な検証器から成る。各要素が別々の生成段階でファイル、依存関係、データ形式を個別に推測すると、文章として妥当なタスクでも、完遂できなかったり誤って採点されたりする可能性がある。8月19日に公開されたFACETは、関連するAgent Skillsから目標、ツール制約、中間状態、入出力契約をまず再構築し、その後Docker環境を構築・修復する方式を採用した。後続の各コンポーネントは、同一の実装済み状態を参照し、失敗時には問題のある部分だけを再生成する。

研究チームは、71,341件の有効なスキルから7,852組のシナリオシードを作成し、最終的に6,078件の実行検証タスクを取得した。各タスクには平均22.77件のテストがあり、研究で比較対象として挙げられた他のターミナルデータセットよりも高密度だった。著者らはDeepSeek-V4-Proを使用して約6,000問分の実行軌跡を生成し、完全に成功した1,200件を選別。Qwen3.5の4B、9B、27Bモデルに対し、3エポックの全パラメータ教師ありファインチューニングを実施した。同一のTerminus-2フレームワークと3回試行の設定では、Terminal-Bench 2.1のスコアがそれぞれ7.12、8.24、6.75ポイント向上した。27B版は47.57に達し、同一設定の397Bモデルが記録した49.06との差はわずか1.49ポイントだった。

アブレーション実験では、環境、指示、解法、解法認識型検証器の順に構築する方式の最終生成成功率が83%となり、共同生成の65%や逆順生成の63%を上回った。ただし、これは純粋な単一変数比較ではなく、各パイプラインでは情報フロー、検証、修復の戦略も同時に変更されている。また、リーダーボード上の比較対象モデルがすべて完全に同一のフレームワークで再実行されたわけでもない。コード、6,020件の公開タスク、3つのcheckpointはすでに公開されているが、論文で使用された全軌跡と生成コストについては、今後さらなる確認が必要だ。