CalibForge、強弱エージェントによるキャリブレーションで5,431件のターミナルタスクを構築、35BモデルがTerminal-Bench 2.0で47.57%を達成

ターミナルエージェント向けの合成学習データでは通常、Docker環境を構築できるか、テストを実行できるか、少なくとも1つのエージェントが問題を解けるかだけが確認される。そのため、簡単すぎるタスクと、実質的に学習不可能なタスクの両方が残ってしまう。CalibForgeは、問題生成を検証器付きの敵対的ループへと変えた。作成エージェントが指示、初期ファイル、Dockerfile、テストをまとめて生成し、解答エージェントによる実行後、完全な軌跡に基づいて問題と検証条件を修正する。キャリブレーションは各問題につき最大50ラウンド行われる。

システムには2種類の採用ルールがある。マルチソルバーモードでは、DeepSeek-V4-Flash、GLM-5、Kimi K2.5のそれぞれについて、少なくとも1回の成功と1回の失敗が求められる。一方、対比モードでは、指定されたDeepSeek-V4-Proが成功し、V4-Flashが失敗することを条件とする。前者では1,263問、後者では4,168問が生成され、合計でソフトウェアエンジニアリング、システム管理、セキュリティ、科学技術計算、データ処理など16分野を網羅する。この「ソルバーに相対的な学習可能領域」は、人手で「簡単」「中程度」「難しい」と分類するより直接的だが、難易度はモデルやエージェントのラッパーによっても変化する。

研究者らはDeepSeek-V4-Proを使って成功軌跡を蒸留し、その後、Qwen3-30B-A3B-InstructとQwen3.5-35B-A3Bに対して10エポックのフルパラメータSFTを実施した。前者のTerminal-Bench 2.0スコアは7.87%から32.58%へ、後者は39.10%から47.57%へ上昇した。最も強力なデータベースラインに対するリードは、それぞれ6.36ポイントと6.75ポイントだった。30BモデルはSWE-bench Proでも3.26%から30.94%へ、Doc2Repoでは5.94%から35.98%へ向上した。データセットと2つのモデルウェイトは公開済みだが、現時点のリポジトリが主に提供しているのはデータ形式と評価用エントリーポイントであり、完全なタスク合成パイプラインは含まれていない。

ただし、結果は慎重に解釈する必要がある。SWE-bench Proの評価は1回しか実施されておらず、より強力な35Bベースモデルにおけるベンチマーク横断の改善幅は3.03～3.85ポイントにとどまる。著者らはテキストの重複、テストコード、タスク構造を調べてデータ汚染を除外したものの、意味的に類似した合成問題が検出をすり抜けた可能性は残る。さらに、フルパラメータ学習には64基のNVIDIA H20が使用されており、再構築コストも、データをダウンロードして一般的なファインチューニングを行う場合よりはるかに高い。