推論系統
MLPerf Inference 6.1 新增端到端 RAG 與邊緣代理測試,基準開始計入完整推論管線
MLCommons 不再只測單一模型,把檢索、重排、生成及多輪代理工作納入 Inference 6.1。新版同時導入 API 型 client/server harness,預示資料中心評測將轉向更接近正式服務的 Endpoints 套件。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
推論系統
MLCommons 不再只測單一模型,把檢索、重排、生成及多輪代理工作納入 Inference 6.1。新版同時導入 API 型 client/server harness,預示資料中心評測將轉向更接近正式服務的 Endpoints 套件。
代理工具
IBM Research 為 ALTK‑Evolve 加入 Consistency Analyzer,利用受控重採樣定位同一代理多次執行時容易改變的決策。AppWorld 實驗把 GPT‑4.1 代理的五次全數成功率由 53% 提至 69%,但證據仍集中於單一代理架構與模擬環境。
代理工具
RSIAgent 讓課程、執行與驗證代理先廣泛探索工具,再深入測試失敗邊界,將結果保存為動作—條件—結果記憶。OSWorld 2.0 的部分得分由 71.97 升至 78.98,但比較混合不同預算與挑選後的重試,不能直接視為模型能力超越 GPT-6。
AI 安全
HazardAuditor 將 Claude Code、Codex、Hermes 與 OpenClaw 的工具執行轉成共同事件格式,再判斷整段行為是否安全。新的 GuardPO 讓最終安全判定主導更新,但研究資料未公開,最高 16.5 個百分點增益仍待獨立重現。
推論系統
vLLM 與 Red Hat AI 公開 Kimi K3 的 50 億參數 DSpark 草稿模型,以及跨節點抽取、傳送隱藏狀態的完整配方。官方測試把單一使用者生成速度由約 110 提至 435 token/s,但結果依賴 GB300 叢集與特定推理負載。
代理工具
Anthropic 在 2.1.273 修正兩條命令審查缺口,以及受管理 MCP、連接器政策可能被忽略的設定合併問題。新版也為 LLM gateway 增加選配請求標頭與 MCP 斷線告警,但官方未把這批修補列為 CVE 或安全公告。
AI for Science/訓練基礎設施
Periodic Labs 以 1,300 張 H200 對兆參數開放模型進行科學中期訓練與強化學習,讓 Neon 自動分析複雜 X 光繞射結果。55.3% 成功率與前沿模型比較均出自內部資料、專用工具鏈及模型評審,現階段更像可檢驗的垂直 AI 配方,而非已證實的自主科學發現。
代理工具
NVIDIA 研究團隊提出無 critic 的單 rollout 訓練法,讓長短不一的工具軌跡完成後即可進入更新。小模型實驗以一半 rollout 超越所列 GRPO 基線,但跨環境、跨規模的穩定性仍未得到充分驗證。
推論系統
TypeSafe AI 的 Jev 只產生預先定義的布林、選項與分數,試圖把模型推論變成可直接嵌入程式的低延遲分支。型別正確不代表判斷正確,官方速度與成本優勢也仍建立在自製工作流及未公開模型上。
最新模型
Gensyn 公開 1.61B 參數模型的資料、檢查點、逐步雜湊與重播工具,讓第三方可抽查訓練狀態是否與承諾相符。這套可重現性以約五倍訓練效能代價換取,而且雜湊吻合仍不能獨自證明原始叢集確實按宣稱方式執行。
訓練基礎設施
Hugging Face 將 `AsyncGRPOTrainer` 的訓練與 vLLM rollout 分散到不同機器,只透過共用物件儲存傳遞數 MB 的 LoRA adapter。公開實驗把 500 步流程由 3 小時 27 分縮至 53 分,但結果仍是單一小模型配方,不等於已證明大規模 RL 收斂或成本優勢。
AI 安全
新研究發現,放入上下文的良性措辭錯誤計畫可被模型吸收、改寫並付諸行動,最強監控器仍漏掉至少四分之一攻擊。讓監控器看到原始注入內容或增加推理預算也不保證改善偵測,顯示代理不能只靠輸出思維鏈自證安全。