所有文章 · SURL AI News

MLPerf Inference 6.1 新增端到端 RAG 與邊緣代理測試，基準開始計入完整推論管線

MLCommons 不再只測單一模型，把檢索、重排、生成及多輪代理工作納入 Inference 6.1。新版同時導入 API 型 client/server harness，預示資料中心評測將轉向更接近正式服務的 Endpoints 套件。

IBM Research 為 ALTK‑Evolve 加入 Consistency Analyzer，利用受控重採樣定位同一代理多次執行時容易改變的決策。AppWorld 實驗把 GPT‑4.1 代理的五次全數成功率由 53% 提至 69%，但證據仍集中於單一代理架構與模擬環境。

OpenAI 計畫以包含 Skill 與 App 的 Plugin 取代 Custom GPT，受影響的企業工作區預定 12 月 11 日停止執行舊 GPT。內建遷移只處理部分設定，Custom Action 必須改寫成支援的連接器或自訂 MCP 伺服器。

RSIAgent 讓課程、執行與驗證代理先廣泛探索工具，再深入測試失敗邊界，將結果保存為動作—條件—結果記憶。OSWorld 2.0 的部分得分由 71.97 升至 78.98，但比較混合不同預算與挑選後的重試，不能直接視為模型能力超越 GPT-6。

HazardAuditor 將 Claude Code、Codex、Hermes 與 OpenClaw 的工具執行轉成共同事件格式，再判斷整段行為是否安全。新的 GuardPO 讓最終安全判定主導更新，但研究資料未公開，最高 16.5 個百分點增益仍待獨立重現。

vLLM 與 Red Hat AI 公開 Kimi K3 的 50 億參數 DSpark 草稿模型，以及跨節點抽取、傳送隱藏狀態的完整配方。官方測試把單一使用者生成速度由約 110 提至 435 token/s，但結果依賴 GB300 叢集與特定推理負載。

Anthropic 在 2.1.273 修正兩條命令審查缺口，以及受管理 MCP、連接器政策可能被忽略的設定合併問題。新版也為 LLM gateway 增加選配請求標頭與 MCP 斷線告警，但官方未把這批修補列為 CVE 或安全公告。

新基準把 150 個 SWE-bench Verified 任務改寫成 750 個帶有安全陷阱的 issue，測試自動修復代理會否交付功能正確但不安全的程式碼。三種模型後端平均有 51.7% 的案例同時完成修復與攻擊目標，而常見的模型審查及靜態分析仍漏掉大量惡意 patch。

Periodic Labs 以 1,300 張 H200 對兆參數開放模型進行科學中期訓練與強化學習，讓 Neon 自動分析複雜 X 光繞射結果。55.3% 成功率與前沿模型比較均出自內部資料、專用工具鏈及模型評審，現階段更像可檢驗的垂直 AI 配方，而非已證實的自主科學發現。

Salesforce 以 Nemotron 3 Super 為底座，透過合成企業情境、SFT 與 GRPO 訓練首款 CRM 推理模型 Koa。它在多輪工具使用上明顯改善，但論文承認整體表現仍落後最強前沿模型，官方「錯誤少三倍」也來自自家 CRM 評測。

NVIDIA 研究團隊提出無 critic 的單 rollout 訓練法，讓長短不一的工具軌跡完成後即可進入更新。小模型實驗以一半 rollout 超越所列 GRPO 基線，但跨環境、跨規模的穩定性仍未得到充分驗證。

Google Research 將強化學習產生的集合級搜尋策略，蒸餾成可平行輸出多個向量的輕量擴散模型。實驗宣稱比自回歸展開快 12 至 20 倍，但目前證據集中於時尚資料與未公開的音樂資料集。