推論系統
Cloudflare 拆分 prefill 與 decode 精度,GLM 5.2 解碼吞吐量最高提高 55%
Cloudflare 以 FP8 KV cache 擴充 Kimi K2.6 的並行容量,並在 GLM 5.2 解碼端改用 INT4 權重。系統同時為共享 KV cache 加入頁面世代標記,防止多租戶請求讀到錯誤快取。
Archive
GitHub 熱門專案、開源工具、框架、runtime 與重要 release。
推論系統
Cloudflare 以 FP8 KV cache 擴充 Kimi K2.6 的並行容量,並在 GLM 5.2 解碼端改用 INT4 權重。系統同時為共享 KV cache 加入頁面世代標記,防止多租戶請求讀到錯誤快取。
最新模型
MiniMax 將 H3 影片模型權重公開,讓開發者可在本地執行含同步聲音的影像轉影片流程。ComfyUI 已加入官方工作流,但消費級 GPU 的實測多仰賴剪枝與 INT8 衍生檔,不能視為原始權重的完整品質重現。
AI 安全
CAGE 不只檢查代理當下看到的工具回傳,而是驗證一組可能的正確綁定結果是否全都允許同一動作。研究證明,分別檢查類別欄位與數值誤差並不能保證兩者同時變動時仍安全。
代理工具
GitHub Copilot 用量報表的 `used_copilot_coding_agent` 相容期已於 8 月 1 日屆滿,整合端應遷移至 `used_copilot_cloud_agent`。兩欄位此前回傳相同布林值,但期限後舊欄位不再有保留承諾,可能使企業採用率報表靜默漏算。
GitHub Repo
NVIDIA、Linux Foundation、Hugging Face、Microsoft 等組織成立 Open Secure AI Alliance,準備以開放模型與工具處理代理及 AI 軟體漏洞。首批具體投入包括 NVIDIA 的 NOOA 框架,但聯盟尚未公布共同規格、治理流程與交付時程。
AI 安全
新研究指出,代理使用的 JSON 式工具規格不只是中性介面,還可能壓低模型內部的拒答表徵。SafeKeep 在執行前另以攤平的文字規格判斷安全性,將有害要求平均拒答率由 23.8% 提高至 70.6%。
代理工具
Microsoft Research 團隊讓合成應用程式、任務與評分器依代理失敗軌跡共同修正,而非只持續增加靜態網頁數量。9B 模型在 14 組測試的平均成功率由 36.5% 升至 67.1%,但目前只公開四個環境作為基準。
代理工具
阿里巴巴 Qwen 團隊公開跨手機、桌面、網頁與 DeepSearch 的 GUI 代理技術報告,以同一動作空間混合畫面操作、CLI 指令及批次動作。模型在多項自報基準領先既有系統,但權重、訓練資料與完整執行框架尚未同步釋出。
代理工具
OSReward 以 1,019 條跨 Web、Windows、Ubuntu 與行動平台的人工標註軌跡,測試視覺語言模型能否正確判斷電腦代理是否完成任務。團隊同時公開 10 萬筆推理式判決資料,並訓練可自架的 9B、35B OS-Shepherd 獎勵模型。
最新模型
NVIDIA 開放 Cosmos 3 Edge 權重與推論流程,以 4B Mixture-of-Transformers 結合自回歸推理及擴散式多模態生成。模型可接收文字、影像與動作軌跡,並另提供以 DROID 資料調整的機器人策略版本,但物理一致性與邊緣裝置延遲仍需獨立驗證。
推論系統
WIDE 將動態剪枝細化到 token 級的注意力頭群組與 FFN 通道群組,並同時支援 prefill 與 decode。研究在 50% 稀疏度下報告最高 4.95 倍核心層解碼加速,但端到端收益縮至 1.55 倍。
AI 安全
OWASP 的 Agentic Skills Top 10 v1 草案結束公開審查,將惡意技能、權限過度、依賴混淆與跨平台移植風險整理成十類控制項。框架把技能視為模型與 MCP 工具之間的行為層,並提出可宣告權限、來源及完整性的通用格式。