GitHub Repo
Transformers 整合 ggml 量化核心，Apple Silicon 可直接執行壓縮 GGUF
Hugging Face 公布主分支的 GGUF 推論整合，讓壓縮權重沿用 Python 與 PyTorch 工作流程。初期支援集中於 Apple Silicon 與 Qwen3.5 架構，測速結果也有比較口徑差異。
Archive
推論系統
推論 runtime、量化、 serving、KV cache、成本與效能。
GitHub Repo
AI 研究
共享推論成本研究公開 H100 測試，計量方式改變租戶分攤比例
unalloc 整合叢集與模型帳單，研究測得不同計量方式讓同一租戶的費用占比相差約 12–14 個百分點。硬體驗證每個負載僅執行一次短測，結果不能視為正確分攤比例的定論。
推論系統
NVIDIA 公開多 GPU 影片推論測試，八卡生成延遲降至約 34 秒
NVIDIA 以 Dynamo-Triton 與 TensorRT 執行 Cosmos 3 Nano，八卡生成延遲由單卡的 156.6 秒降至 34.2 秒。測試未涵蓋併發吞吐量與單片成本，品質驗證也僅採抽樣影格。
硬體
Googlebook 開放預購，整合代理開發工具與隔離 Linux 環境
Google 將 Antigravity、Linux 終端與端側 AI 硬體納入新筆電平台。不同處理器機型的 pKVM 保護模式，以及 Linux 內的 NPU 存取方式，仍需產品文件與實機驗證。
GitHub Repo
vLLM 社群提出 RDNA 分塊調校，W7900 嵌入吞吐量測得提升約 17%–19%
社群測試透過縮小注意力核心的鍵值區塊，提高 AMD 顯卡上的嵌入服務效能。變更仍屬提案，核心加速倍數、整體吞吐量與檢索品質須分別評估。
GitHub Repo
Ultralytics 8.4.157 加入 CUDA Graph 重播，YOLO26n FP16 測試延遲降約 20%
新版以真實影像校準與 CUDA Graph 重播減少推論開銷。效益隨精度與批次改變，版本公告提及的 SiLU 改寫則已在最終審查撤回。
GitHub Repo
tokenizers v1 重構 CPU 編碼路徑，候選版仍有 Python 功能缺口
Hugging Face 公布 Rust 基準測試，在 M4 Max 單執行緒下，編碼速度為 v0.23 的 3 至 30 倍。效益取決於模型與語料，既有 Python 工作流程仍須核對功能相容性。
最新模型
Grok 4.7 強化長任務程式開發，API 自動回傳加密推理狀態
新版增加長時間任務訓練，並讓 Responses API 自動攜帶跨輪推理狀態。官方評測採用不同推理等級，API 與 Cursor 的長上下文計費門檻也須分別核對。
GitHub Repo
Transformers 被回報快取卸載改變 Qwen3.8 輸出，異常始於首次重用
一份附最小重現程式的回報顯示，混合注意力模型在預填充正常後，下一步輸出仍可能偏移。問題尚未獲維護者確認，凸顯顯存最佳化也需驗證多步數值一致性。
AI 基礎設施
AgentCore Runtime V2 加入記憶體回收與快照啟動，官方冷啟動測試約兩秒
AWS 更新代理執行環境，降低長工作階段的記憶體占用並縮短冷啟動。效能數字來自空代理測試，成本效益與快照還原行為仍須依實際負載驗證。
推論系統
SemIf 展示瀏覽器內的選項分數讀取，決策機率仍須另外校準
這項本機推論實驗比較直接讀取選項 logits 與逐字生成 JSON，讓開發者量測輸出形式的成本。結果仍受量化、瀏覽器與測試順序影響，也不能把選項機率直接當成可靠度。
推論系統
AMD 公開 MLPerf 推論最佳化，八卡 GPT-OSS 服務吞吐量提升約 38%
AMD 透過分拆注意力核心與調整排程，提高 MI355X 上的 GPT-OSS-120B 基準吞吐量。公開權重與操作指南提供重現起點，但環境設定及模型卡仍有待釐清之處。