GitHub Repo
vLLM 0.30.0 納入常駐 GPU 權重快取，支援引擎重啟後重用
Fast Start 透過 CUDA IPC 重用已處理的權重，減少引擎重啟時的磁碟載入。零拷貝模式與 sleep mode 不相容，部署者也須驗證平行配置及快取回退行為。
Archive
最新模型
新模型、開放權重、多模態、語音、影像與模型架構。
GitHub Repo
GitHub Repo
vLLM 被回報外部 KV 快取讀取失敗會終止引擎，影響範圍仍待確認
混合注意力模型的一份開發版回報顯示，單筆請求失敗後，排程器也觸發致命斷言。官方失敗策略原應限制於請求層級，目前尚無公開修補或跨環境驗證。
最新模型
Claude Opus 5.5 調降 token 單價，代理 API 加入多項不相容變更
新版降低輸入、輸出與快取讀取價格，並固定啟用自適應思考。強制工具呼叫、歷史訊息修改與串流進度顯示均須重新驗證。
GitHub Repo
vLLM 公開 Qwen3.8-2.4T 分離式推論測試，每 GPU 總吞吐量約五千 token／秒
團隊以 GB300 NVL72 測量預填充與解碼分離配置，並提供版本資訊及配置庫。最高吞吐量與每人每秒約 180 個生成 token 來自不同配置，仍須依實際負載驗證。
GitHub Repo
Transformers 整合 ggml 量化核心，Apple Silicon 可直接執行壓縮 GGUF
Hugging Face 公布主分支的 GGUF 推論整合，讓壓縮權重沿用 Python 與 PyTorch 工作流程。初期支援集中於 Apple Silicon 與 Qwen3.5 架構，測速結果也有比較口徑差異。
GitHub Repo
claude-mem 13.25.3 禁止透過 HTTP 改寫 Claude CLI 執行檔路徑
新版縮小本機設定介面的可寫範圍，並調整遙測錯誤訊息的遮蔽順序。本機請求仍沿用既有信任模型，帶引號憑證的遮蔽疑點也尚待確認。
AI 研究
共享推論成本研究公開 H100 測試，計量方式改變租戶分攤比例
unalloc 整合叢集與模型帳單，研究測得不同計量方式讓同一租戶的費用占比相差約 12–14 個百分點。硬體驗證每個負載僅執行一次短測，結果不能視為正確分攤比例的定論。
GitHub Repo
Hermes 修補 Claude CLI 外掛，空參數工具不再觸發備援供應商切換
Nous Research 更新 DirectSDK 外掛固定提交，修正空參數工具、思考設定與介面相容性問題。版本號仍維持 0.3.0，部署者須核對提交值及實際工具執行流程。
推論系統
NVIDIA 公開多 GPU 影片推論測試，八卡生成延遲降至約 34 秒
NVIDIA 以 Dynamo-Triton 與 TensorRT 執行 Cosmos 3 Nano，八卡生成延遲由單卡的 156.6 秒降至 34.2 秒。測試未涵蓋併發吞吐量與單片成本，品質驗證也僅採抽樣影格。
GitHub Repo
vLLM 社群提出 RDNA 分塊調校，W7900 嵌入吞吐量測得提升約 17%–19%
社群測試透過縮小注意力核心的鍵值區塊，提高 AMD 顯卡上的嵌入服務效能。變更仍屬提案，核心加速倍數、整體吞吐量與檢索品質須分別評估。
GitHub Repo
Ultralytics 8.4.157 加入 CUDA Graph 重播，YOLO26n FP16 測試延遲降約 20%
新版以真實影像校準與 CUDA Graph 重播減少推論開銷。效益隨精度與批次改變，版本公告提及的 SiLU 改寫則已在最終審查撤回。
AI 研究
LangChain 測試 Jev 代理評分器，五個固定案例呈現較低分數變異
LangChain 將五份天氣代理紀錄各重評一百次，觀察到 Jev 的分數變異與呼叫成本較低。測試僅有單一人工標註者，取樣設定與託管模型版本也限制了結果的解讀。