所有文章 · SURL AI News

AI4AI-Bench 要代理重寫十類訓練演算法，最佳系統平均分僅 0.250

AI4AI-Bench 把調參與真正改變學習方法分開評估，要求程式代理提交可由零重跑的訓練程式碼。六套系統的 290 次測試中，逾四成表現不及原始演算法，增加推理強度主要只是令代理更願意觸碰核心訓練機制。

Brain Researcher 以知識圖譜、型別化流程與審查規則約束神經影像分析代理，並保存假設、證據及執行來源。工具路由大幅改善，但可驗證證據落地率仍只有 22.0%，自動審查亦曾漏掉方向性統計錯誤。

SafeBranch 將代理的危險軌跡回滾至關鍵決策點，只比較同一上下文中的安全與不安全動作。訓練後部署毋須外掛 critic，但成果目前限於模擬家居環境，且資料建構仍依賴 GPT-4o 判斷。

FormalTCS 從近兩年頂級理論計算機科學論文抽取研究級問題，逐段測量模型由自然語言主張產生機器可驗證證明的能力。最佳模型在證明既有形式化定理時達 28.6 Pass@8，但將自然語言轉成正確 Lean 定理陳述仍是主要瓶頸。

開源代理執行環境 Forge 現可按使用者隔離 MCP 連線與憑證，並自動完成 OAuth 2.1 metadata discovery 及動態用戶端註冊。新版亦補上細粒度出口管制與審批稽核，但目前 MCP 支援仍以 HTTP 傳輸為主。

新版將最低 Python 版本提高至 3.10，並移除 Text Completions、部分取樣參數及用戶端壓縮介面。一般 API 呼叫大多毋須修改，但直接依賴 httpx 的監控、測試與自訂傳輸層必須遷移。

Daedalus-150M 專為單使用者、4-bit CPU 推論設計，讓多數網路層不必反覆讀取持續增長的 KV cache。初步結果顯示速度優勢會隨上下文增加，但模型只有 2K 上限，效能數字也仍待跨硬體獨立重現。

新基準將 13 個公開來源的代理技能去重並按結構家族切分，避免近似樣本同時落入訓練與測試集。最佳文字分類器在隨機切分表現亮眼，面對未見來源卻把 62.4% 良性技能誤判為惡意。

NVIDIA 更新開源代理執行堆疊，重點處理 vLLM、llama.cpp、Ollama 與模型路由器的狀態漂移。新版也收緊沙盒生命週期、映像來源證明及失敗復原，但仍是快速迭代中的修補版本。

SWE-bench Science 用 98 個真實科學程式庫測試單位、座標系、數值不變量及檔案格式等隱性契約。Claude Code 搭配 Opus 5 暫居首位，但 pass@1 仍未過半，且工程整合題只有 27.78%。

微軟開源 Thinkingbox，以隔離的 MCP 工具環境及可執行斷言檢查代理是否真正完成工作，而非只看回覆或工具呼叫是否合法。最佳系統單次成功率達 65.36%，但要求同一任務連續成功 20 次時只剩 25.25%。

Task-CoEvolve 依候選 harness 的歷史分歧動態挑選驗證任務，再以抽樣機率估算全體成績。它在 Terminal-Bench 2.1 接近全量搜尋表現，但論文沿用同一批任務搜尋與評分，且程式尚未實際釋出。