代理工具
GitHub Agentic Workflows 0.89 系列補上 MCP 呼叫追蹤並縮小工作流程憑證暴露面
GitHub 一週內連發 17 個 `gh-aw` 版本,讓 JSON 日誌能指出每次 MCP 呼叫的伺服器、工具與時間。最新修補也停止在斜線命令路由器的 Git 設定中持久保存 `GITHUB_TOKEN`,但 0.89 系列仍處於預發布節奏。
Archive
推論 runtime、量化、 serving、KV cache、成本與效能。
代理工具
GitHub 一週內連發 17 個 `gh-aw` 版本,讓 JSON 日誌能指出每次 MCP 呼叫的伺服器、工具與時間。最新修補也停止在斜線命令路由器的 Git 設定中持久保存 `GITHUB_TOKEN`,但 0.89 系列仍處於預發布節奏。
推論系統
新研究提出 SQD,按二次與次平方注意力的記憶體、運算特性分派解碼工作。論文報告最高 56% 每焦耳 token 增益,但 Rubin/LPX 數字仍來自分析模型而非實機叢集。
代理工具
Otis 在 9 月 13 至 14 日集中公開推廣,會依硬體推薦並下載 GGUF,再以內建 llama.cpp 啟動本地代理。離線模式不需要帳號,但搜尋、PAIR 叢集及 Fireworks 推論屬於不同的資料與信任邊界。
端側 AI
Apple 於 9 月 14 日推出 iOS 27 等正式版作業系統,將以 AFM 3 驅動的新 Siri 帶給支援裝置。較大的端側模型以提示級稀疏路由配合 NAND 權重儲存,技術取向不同於每個 token 選專家的典型 MoE。
AI 安全
K‑Bench 把評測從模型的最終回答擴至推理、工具呼叫、檢索結果等六條代理通道。實驗顯示,既有基準判定無洩漏時,部署中的代理仍可能在 22% 至 86% 查詢中暴露目標資料。
代理工具
逆向實驗顯示,macOS 27 的 `Inference Providing` 路徑可把 Siri 的規劃提示、工具定義與執行結果交給外部模型。示範必須關閉系統保護並使用 Apple 私有 entitlement,不能解讀成使用者現在已能正式更換 Siri 模型。
推論系統
9 月 14 日合併的架構支援,讓 Maple‑Preview 不再依賴 DeepGrove 的 llama.cpp 分支即可載入與轉換。模型每個 token 只啟用約 10 億參數,但 GPU 後端、品質評測與官方速度宣稱仍需分開驗證。
代理工具
新實驗顯示,「草擬—驗證—修訂」管線中的 `previous` 等相對詞,可能隨模型角色轉換而改變指涉。提高推理強度可大幅改善部分模型,但模型選擇比單純增加測試時計算更關鍵。
GitHub Repo
OpenArch 把 Llama、DeepSeek、Gemma、Qwen、Kimi 等模型改寫成逐架構的純 PyTorch 範例,方便比較注意力、正規化與 MoE 路由。專案 9 月 14 日在 Hacker News 快速獲得關注,但多數模型仍未完成,現有程式也明確不以效能或相容性為目標。
推論系統
新開源測試集把小模型放到 Jetson、Mac、樹莓派及 Android 裝置,量測解碼速度、每焦耳 token、延遲與溫度,而非只看資料中心 GPU 吞吐。作者宣稱已測約千組 Jetson 配置,但目前公開榜單未載入任何資料,使用者只能先從儲存庫報告與原始產物核對結果。
GitHub Repo
9 月 13 至 14 日的 llama.cpp 預發布建置補上 BF16 不可用時的 CUDA F32 路徑,避免部分舊 GPU 直接失敗。另一項修補會在 Nemotron‑H 的 NextN/MTP 中繼資料不完整時回報錯誤,而非於載入模型時觸發 SIGFPE。
推論系統
近期社群熱度上升的 Colibrì,以純 C 引擎按需載入稀疏專家,讓 744B 至 2.8T 參數模型可在非資料中心硬體啟動。它降低的是模型常駐記憶體門檻,實際解碼速度仍高度受 SSD 頻寬、專家命中率與量化品質限制。