推論系統
同一模型兼任工具呼叫預測器,Qwen 4B 下一步命中率提高逾 17 點
研究團隊讓代理在推理期間預測並提前執行自己的下一個工具呼叫,以共用權重及 KV cache 取代外部草稿模型。聯合強化學習把兩款 Qwen 4B 模型的平均 Hit@1 分別提升至 61.2 與 66.3,但論文尚未量化真實並行部署的端到端加速。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
推論系統
研究團隊讓代理在推理期間預測並提前執行自己的下一個工具呼叫,以共用權重及 KV cache 取代外部草稿模型。聯合強化學習把兩款 Qwen 4B 模型的平均 Hit@1 分別提升至 61.2 與 66.3,但論文尚未量化真實並行部署的端到端加速。
AI 安全
開源 SkillGate 在代理載入技能前,以 530 條規則定位可疑片段,再交由 LLM 判斷與隔離。官方基準測得 1.13% 誤報率及 76.9% 召回率,顯示低成本閘道可行,但尚不能取代沙箱與最小權限。
代理工具
Surge AI 公開 65 項長流程代理任務,要求模型跨郵件、聊天、日曆與企業工具遵守20至124頁的變動政策。最佳配置在全部規則同時成立的嚴格評分下只通過36.2%,顯示長上下文容量不等於持續合規。
代理工具
Amazon Science 公開 PatientAgentBench,讓醫療代理在合成病歷與具狀態工具中完成多輪基層照護任務。十款模型的最大落差出現在分流判斷,顯示答對醫學題目並不足以證明代理能安全執行工作流。
最新模型
新研究把 LoRA 限制在 Transformer 的前、中、後段,發現不同學習目標呈現可重現的「適應幾何」。結果把 adapter 放置位置從實作細節提升為控制知識轉移與副作用的設計變數。
開發者平台
GitHub Models 將於 7 月 30 日停止所有服務,既有客戶的模型目錄、Playground、推論 API 與 BYOK 端點都會消失。遷往 Microsoft Foundry 並非單純更換網址,團隊還須重新驗證身分、模型版本、計費與輸出相容性。
推論系統
開源 NInfer 以客製量化、權重布局、融合核心與 MTP 草稿路徑,讓 Qwen3.6-35B-A3B 在單張 RTX 5090 上長程解碼維持約每秒 543 token。速度來自針對模型與 GPU 的深度特化,目前只支援兩個 checkpoint、缺乏連續批次,也尚無同條件獨立評測。
AI 基礎設施
MLCommons 推出面向託管推論服務的 Endpoints 0.7,以自動投稿、持續審查及互動圖表取代半年一次的靜態比較。首版涵蓋五家供應商與三項基準,但成本正規化、代理工作負載及廣泛投稿要等 1.0 才會加入。
硬體
CoTinyVLA 把 35B 教師的分層推理蒸餾進 0.9B 視覺—語言—動作模型,在 LIBERO-Plus 四組測試均領先最強 7B 基線。程式、訓練流程與權重已公開,但尚無真實機器人、不同硬體或外部團隊的重現結果。
代理工具
開源 JarvisHub 以型別化節點和連線保存素材、版本、相依關係與代理軌跡,讓長程創作不必塞在線性對話中。系統已提供可執行的三層架構與本機部署程式,但論文目前只有質性案例,尚未證明可靠性或成品品質提升。
推論系統
NVIDIA 研究團隊公開無需重新訓練的 Sol-Attn,在注意力運算期間選取關鍵區塊,並近似補回被跳過區塊的貢獻。官方在多款影片模型測得約 1.9 至 2.34 倍端到端加速,但品質與硬體泛化仍需獨立驗證。
推論系統
Dynamo 的實驗版本加入 Kimi K3 多模態、推理與工具呼叫解析,並公開聚合及 prefill/decode 分離的 Kubernetes 配方。配方把 2.8T MoE 的部署門檻量化到機架拓撲,但目前未經正式 QA,且已知 GB200 設定仍有啟動錯誤。