代理工具
CalibForge 以強弱代理校準 5,431 項終端任務，35B 模型在 Terminal-Bench 2.0 達 47.57%
CalibForge 不再保留所有能執行的合成題，而是反覆修改任務，直到不同求解代理出現預定的成功與失敗關係。用校準軌跡微調的兩款模型在三項程式代理基準均有增益，但完整訓練需要 64 張 H20，且部分結果只執行一次。
終端代理的合成訓練資料通常只檢查 Docker 環境能否建立、測試是否可執行，以及至少一個代理能否解題；這會同時留下過於簡單與實際不可學的任務。CalibForge 把出題改成具驗證器的對抗迴圈：作者代理同時產生指令、初始檔案、Dockerfile 與測試，求解代理執行後，再根據完整軌跡修改題目與驗證條件，每題最多進行 50 輪校準。
系統有兩種保留規則。多求解器模式要求 DeepSeek-V4-Flash、GLM-5 與 Kimi K2.5 至少各有一個成功和失敗；對比模式則要求指定的 DeepSeek-V4-Pro 成功、V4-Flash 失敗。前者產生 1,263 題，後者產生 4,168 題，合計涵蓋軟體工程、系統管理、安全、科學運算及資料處理等 16 個領域。這種「相對於求解器的可學區間」比人工標示簡單、中等或困難更直接，但難度也會隨模型與代理外殼改變。
研究者用 DeepSeek-V4-Pro 蒸餾成功軌跡，再對 Qwen3-30B-A3B-Instruct 與 Qwen3.5-35B-A3B 進行十輪全參數 SFT。前者在 Terminal-Bench 2.0 由 7.87% 升至 32.58%，後者由 39.10% 升至 47.57%；對應最強資料基線的領先幅度為 6.36 與 6.75 個百分點。30B 模型在 SWE-bench Pro 亦由 3.26% 升至 30.94%，Doc2Repo 由 5.94% 升至 35.98%。資料集與兩款權重均已公開，但儲存庫目前主要提供資料格式與評測入口，未包含完整任務合成管線。
結果仍需保守解讀：SWE-bench Pro 只評估一次；較強 35B 底模的跨基準增益僅 3.03 至 3.85 點。作者雖用文字重疊、測試程式及任務結構排除污染，語意相近的合成題仍可能漏網。全參數訓練使用 64 張 NVIDIA H20，重建成本也遠高於下載資料後做一般微調。