代理工具
AI4AI-Bench 要代理重寫十類訓練演算法，最佳系統平均分僅 0.250
AI4AI-Bench 把調參與真正改變學習方法分開評估，要求程式代理提交可由零重跑的訓練程式碼。六套系統的 290 次測試中，逾四成表現不及原始演算法，增加推理強度主要只是令代理更願意觸碰核心訓練機制。
Einsia 發布 AI4AI-Bench，以十個凍結的研究程式庫測試程式代理能否改良「模型如何學習」，而非只延長訓練、擴大模型或調整超參數。題目涵蓋監督微調、多輪代理強化學習、線上蒸餾、獎勵模型、偏好最佳化、擴散模型 RL、機器反學習、圖擴散、權重合併及一次性剪枝。
每題先給代理四小時與一張 NVIDIA B300，讓它讀取程式、修改訓練流程並反覆查看廉價代理指標。期限結束後只保留原始碼 patch；主辦方把 patch 套進全新容器，由零開始訓練最多十二小時，再以開發階段不可見的固定評估器檢查最多三個 checkpoint。這種設計可排除沿用探索期權重或快取帶來的假進步。
十題原始尺度不同，研究者把無資訊模型映射為 0、原始程式庫演算法映射為 0.1、預設最佳值映射為 1.0。六套系統、29 種模型與推理設定合計 290 個測試格的平均分為 0.166；最佳系統 Claude Opus 5 平均 0.250，最佳單一設定為 0.288。124 個測試格低於 0.1，代表改完反而退步。
更值得注意的是，263 份有修改的提交中，141 份只改預算、checkpoint、容量或超參數，沒有改變目標函數、監督訊號、資料或更新規則。真正觸及學習機制的提交平均得 0.226，其餘只有 0.126；提高推理強度可令這類提交比例由 8% 增至 64%，但平均分也只由 0.094 升至 0.196。
工程團隊可利用公開的 Apache 2.0 harness 重播 patch，但官方配置需要昂貴的 B300 長時間訓練，而且目前沒有託管式盲測服務；公開後的本地結果只能取得非官方收據。十個程式庫也不足以代表所有演算法研究，因此它更適合作為可重現的能力探針，而非「遞迴自我改進已不可行」的結論。