AI 安全
科學推理基準出現「答案對、方法錯」,HLE 捷徑解答率達 37.4%
新研究發現,模型會以猜公式、枚舉或先猜答案再驗證等捷徑,取得正確結果卻未完成題目要求的推導。研究團隊認為,只比對最終答案可能高估前沿模型的科學推理能力,但自動稽核器本身仍有分類誤差。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
AI 安全
新研究發現,模型會以猜公式、枚舉或先猜答案再驗證等捷徑,取得正確結果卻未完成題目要求的推導。研究團隊認為,只比對最終答案可能高估前沿模型的科學推理能力,但自動稽核器本身仍有分類誤差。
最新模型
Faster-WAM 把單層動作頭接到 30 層影片 Transformer,透過跨層 KV 融合取得世界模型表徵,不再讓動作分支複製完整骨幹深度。研究報告相對 Fast-WAM 加速 3.2 倍,但尚未公開新架構的程式碼與權重,結果也主要來自模擬基準。
代理工具
Iris 不再只沿候選解答樹反覆改程式,而是先調查關鍵未知,再把跨實驗證據整理成可新增、更新或撤銷的主張。論文自報在完整 MLE-Bench 上以一半於直接對照組的時間取得較高獎牌率,但系統程式碼與完整執行軌跡尚未公開。
最新模型
CMuon 發現,Muon 對融合後的 QKV、AdaLN 與 FFN 權重整體正交化,會讓功能不同的子空間互相干擾。研究以分塊動量正交化改善後期收斂,但兩倍加速目前只在單一 675M DiT 設定中得到驗證。
推論系統
xPress 在區塊擴散草稿與目標 LLM 之間加入一次並行因果修整,減少「單字合理、整段不合理」造成的提前拒絕。研究報告草稿接受長度平均增加約 30%,但目前尚無公開實作可供獨立重現。
代理工具
HALT 不再用生成模型的自信度判斷搜尋是否完成,而是逐項驗證多跳問題所需主張是否已有證據支持。它可外掛至凍結的搜尋代理,但實際節省幅度高度取決於能否事先產生準確的中間主張。
代理工具
新研究不再讓第二個 LLM 逐步審查代理,而是從工具動作、延遲、輸出與 token 機率等遙測偵測軌跡偏移。系統成本約每步 200 微秒,但每個部署仍須以自身的正常軌跡重新校準。
GitHub Repo
PosterMELD 將論文解析、內容壓縮、排版與品質修復拆成多代理流程,輸出保留原生 PowerPoint 元件。團隊自評列印就緒率達 81.3%,但品質裁判、API 成本與基線設定仍需外部驗證。
硬體
Inflect-Nano-v2 將完整文字轉波形模型控制在 3.97M 參數,近期更新加入可執行的單一說話者調整流程。它適合離線與邊緣語音介面,但訓練資料、跨語言效果及品質比較仍缺乏獨立驗證。
代理工具
GitHub Copilot cloud agent 的自動化現在可監聽 Issue 與 Pull Request 留言,並依指定文字啟動文件更新、錯誤調查等工作。功能縮短了從討論到代理執行的路徑,但私人自動化設定、留言輸入與可用工具形成新的權限及提示注入邊界。
代理工具
GitHub 允許開發者在啟動 Copilot cloud agent 任務時,同時指定模型與推理強度。較高強度可能改善跨檔除錯與架構分析,但會增加 token 與 AI Credits 消耗,團隊需重新建立成本及品質基準。
AI 科學研究
OpenAI 表示未公開模型 Astra 解決或推進十項數學與理論計算機科學問題,並釋出 249 頁手稿。每項結果均附可建置的 Lean 4 形式化憑證,但數學價值與手稿論證仍待領域專家審查。