代理工具
HarnessOpt-Bench 將代理外殼最佳化變成評測,模型選擇影響約為 coding harness 的 1.8 倍
HarnessOpt-Bench 要求模型在固定評估預算內修改提示、工具、記憶與控制流程,再以不可見測試集計算實際增益。111 組實驗顯示,模型本身造成的差異大於外層 coding harness,但原生工具並未穩定勝出。
Archive
Agent、MCP、coding agent、工作流自動化與評測。
代理工具
HarnessOpt-Bench 要求模型在固定評估預算內修改提示、工具、記憶與控制流程,再以不可見測試集計算實際增益。111 組實驗顯示,模型本身造成的差異大於外層 coding harness,但原生工具並未穩定勝出。
代理工具
TrajDebug 不把代理軌跡中的第一個錯誤直接當成根因,而是追蹤錯誤是否修復、留下終局影響及消耗復原預算。團隊以 486 條人工標註軌跡測試,診斷轉成提示後使相同任務重跑成功率平均提高 10.8%。
最新模型
研究將 Adam 與低秩恢復差異追溯至逐座標預條件器不具 gauge equivariance。公開實驗中,兩個功能等價初始化經 Adam 訓練後,其注意力不變量相差 56%,但結論尚未經大型模型預訓練驗證。
最新模型
DASH 不再等量處理每個 token 的教師—學生差異,而是依整條生成軌跡調整監督可向前傳播的距離。作者在三項數學基準報告穩定增益,並公開訓練程式、評測流程與 LoRA 權重。
Reasoning Core 用可執行評分器、難度控制與短答案格式產生數學、規劃、形式證明及程式題。匹配訓練實驗顯示它優於三套程序資料集,但作者也在外部資料庫發現生成器與評分器不一致。
代理工具
新研究區分常駐的 AGENTS.md 與針對單一任務的 Agent Plan,檢查計畫如何進入公開版本歷史。樣本高度集中於少數專案,顯示「計畫即協作產物」仍是早期且不穩定的實務。
代理工具
Muse Code 將 Muse Spark 1.2 包裝成終端機代理,能在隔離 worktree 內平行處理大型程式庫。其附加式事件日誌可在程序中斷後重建狀態,但效能數字主要仍由 Meta 自行提供。
AI 安全
新評測在 MCP 工具清單植入語意誘餌、參數陷阱與能力幻象等定向探針,藉錯誤呼叫定位代理的選擇弱點。11,520 次實驗顯示模型等級不能穩定預測安全性,而受騙後能否自行退出,會把任務成功率由 16% 拉升至 52%。
代理工具
Argus 把長期任務拆成受限 mission,並由 Manager、Planner、Engineer 與 Reviewer 共同維護可持久化狀態。作者報告它以 1.41 倍 token 成本提高程式修復成績,代理產生的 RWKV6 核心亦經外部修正後合併至開源專案。
代理工具
ContextWeave 不再只問代理能否找回舊資訊,而是檢查記憶能否改善後續文件與辦公工作。實驗顯示保留可採取行動的完整經驗優於短摘要,但錯誤回憶也更容易影響執行結果。
代理工具
MatrAIx 將相關人口屬性組合成 83 億筆模擬使用者,並讓 persona 代理操作問卷、聊天機器人、網站與應用程式。團隊開放約百萬筆核心資料與評測程式,但目前驗證只能證明代理遵循指定角色,不能證明其可取代真人測試。
AI 基礎設施
Microsoft Azure 研究顯示,代理在模型推論、工具與協調器之間反覆切換,使 CPU 重新進入關鍵路徑,GPU 卻經常閒置。原型系統 Agora 可依工作流型態回收算力,但錯誤壓縮平行代理的 GPU 配置反而會讓尾延遲惡化 16 倍。