推論系統
IOL-AI 以未公開語言學奧賽題測推理:14B 模型靠解碼流程把基線分數提高逾一倍
IOL-AI Challenge 要求系統先從少量例句推導陌生語言規則,再完成翻譯、轉寫與訂正。受限於單張 T4 的最佳提交把同模型基線 GM 由 9.40 提至 19.79,但與達到金牌線的封閉模型仍有明顯差距。
Archive
Agent、MCP、coding agent、工作流自動化與評測。
推論系統
IOL-AI Challenge 要求系統先從少量例句推導陌生語言規則,再完成翻譯、轉寫與訂正。受限於單張 T4 的最佳提交把同模型基線 GM 由 9.40 提至 19.79,但與達到金牌線的封閉模型仍有明顯差距。
AI 安全
PACE 不要求語言模型自行判斷交易是否安全,而以確定性規則檢查交易意圖、模擬結果及實際 calldata。簽署後的政策決策紀錄由智慧帳戶在執行前重驗,但目前零失敗結果只來自簡化 DeFi 沙盒。
硬體
PTXBench 同時檢查生成核心是否正確、指定指令是否真的執行,以及相對 cuBLAS、cuDNN 與 FlashInfer 的速度。結果顯示,會寫出新架構指令不代表能把它轉成有效加速,B200 注意力核心尤其困難。
代理工具
新系統把文件代理的搜尋結果、原生檔案、差異檢視與最終提交綁定至明確版本,避免代理讀到舊解析內容卻編輯新版檔案。固定框架消融顯示,同時提供解析與原生檢視優於任一單一檢視,但完整程式與跨框架重現仍待補足。
AI 安全
新研究把評測前移至病人尚未清楚描述問題的首次接觸階段。加入「先釐清、後建議」的系統指令改善回應順序與交接摘要,卻仍未可靠問出決定性病史。
最新模型
TokEval 將數字位值、程式 AST 邊界、UTF-8 完整性及跨語言成本納入 tokenizer 評測。控制實驗顯示部分指標可預測特定下游能力,但結果目前限於單一 1.27B 架構。
代理工具
Microsoft 重寫 Agent Lightning,以模型 API 代理層擷取既有代理框架的完整互動,不必把工具迴圈搬入訓練引擎。官方以 6,000 筆資料訓練 Qwen3.5-9B,報告 SWE-bench Verified 由 41.8% 提升至 56.4%。
代理工具
Salesforce 重新評測兩種文字記憶方法,發現加入自我改進迴圈後,71% 的設定出現更高跨次執行變異。原本隱含由易至難課程的固定題序一經打亂,ReasoningBank 不但未改善代理,反而降低通過率。
代理工具
新評測以 73 項駕駛艙異常任務測試代理能否觀察狀態、操作系統並全程遵守硬性安全限制,而非只回答航空知識題。GPT-5.6 Sol 的成功率最高,但相近的知識分數與任務成功率並不一致,顯示靜態問答不能替代互動安全測試。
代理工具
新評測要求模型僅憑論文發表前已存在的參考文獻,反推出被隱藏論文的核心研究構想。四模型交叉評審與瑞士制選拔提高匹配率,但候選數、裁判群與計算量均未與單模型條件對齊。
代理工具
Benchmark-as-Teacher 把評測中的階段分數直接轉成下一輪訓練課程,並以隔離合成資料避免把測試答案帶入更新。論文報告 9B 策略明顯優於一般 GRPO,但完整訓練資料尚未釋出,跨系統排名亦混合了不同執行框架。
FabriMAE 從 VLA 模型內部的視覺注意力熵產生可靠度分數,不需另訓練驗證器或重複執行機器人軌跡。PI0.5 在 LIBERO-Plus 的成功率增加 1.1 個百分點,但目前證據仍限於模擬環境,論文連結的程式庫亦尚未公開存取。