CalibForge、ソルバー間の不一致でターミナルタスクを較正し、複数ベンチマークで最大30.04ポイント向上

ターミナルエージェント向けの合成データは、まずモデルに問題を生成させ、次にテストプログラムでタスクが実行可能かを確認することが多い。しかし、検証を通過しても、その問題に訓練価値があるとは限らない。すべてのモデルが完了できる問題は簡単すぎる一方、すべてが失敗する問題は解決不能か、現在の能力を超えている可能性がある。8月6日に提出されたCalibForgeは、タスク生成をソルバーのフィードバックを取り入れた敵対的ループへと変更した。エージェントが候補環境を実際に操作し、システムが完全な軌跡に基づいて指示、ファイル、コンテナ、検証器を修正し、難易度が目標範囲に入るまで調整する。

システムは2つの較正方式を提供する。マルチソルバーモードでは、「少なくとも1つが成功し、少なくとも1つが失敗する」タスクを残す。対比モードでは、指定された強いモデルが成功し、弱いモデルが失敗することを求める。公開データには、1,263件のマルチソルバータスクと4,168件の対比タスクが含まれ、16分野にまたがる。各タスクはHarbor形式で、Docker環境、自然言語による指示、実行可能なテストをまとめてパッケージ化している。単一モデルだけで問題を採点する手法と比べ、観測可能な能力境界が新たに加わる。

著者らは成功軌跡を使って2つのMoEモデルを訓練した。Qwen3-30B-A3Bのベースラインは、Terminal-Bench 2.0で7.87%から32.58%へ、SWE-bench Proで3.26%から30.94%へ、Doc2Repoで5.94%から35.98%へ向上した。一方、より強力なQwen3.5-35B-A3Bでは伸び幅が明らかに縮小しており、データが有効に機能する範囲はモデルによって変化することを示している。エンジニアリングチームは、較正に使用したソルバーが選択バイアスを生じさせていないか、また、問題を繰り返し修正することで検証器のショートカットを学習してしまわないかに注意すべきだ。Terminal-BenchとDoc2Repoでは3回の実行結果が報告されているが、SWE-bench Proは1回しか測定されていない。現時点の成績も主に著者らが公開したパイプラインによるものであり、外部による再現を待つ必要がある。