所有文章 · SURL AI News

vLLM 0.29 將 Model Runner V2 設為全模型預設，升級同時牽動快取、通訊與啟動介面

vLLM 0.29.0 完成 Model Runner V2 的預設切換，並擴充推測解碼、強化學習權重同步及多種硬體後端。這不是可直接替換映像的小更新，既有部署需重新驗證記憶體配置、輸出一致性與已移除介面。

Cohere 開源 North Mini Code 專用推論引擎，以常駐 megakernel 取代逐算子啟動與全 GPU 同步。官方測試顯示單張 H100 的端到端解碼吞吐量高於 vLLM，但目前僅支援特定模型、硬體與小批次。

Agno 新增可原子發布、固定版本讀取的 page knowledge，以及限制輸入輸出的公開 Agent、Team、Workflow 與 MCP 服務面。數小時後的 3.0.8 又補上完整頁面讀取和 SQLite 批次寫入擁有權檢查，升級時還須處理 HNSW 搜尋語意變更。

Unsloth Desktop 改以 Vulkan 服務 Strix Halo、Strix Point 及缺乏 ROCm 的 AMD iGPU，並縮減 MLX KV cache 與安裝套件體積。效能數字來自官方測試，且已有使用者回報升級後介面仍顯示 ROCm，自動選路仍待實機驗證。

新開源外掛毋須分叉 vLLM 核心，即可用相同的 OpenAI 相容 API 在 Tenstorrent 硬體上提供多款語言及視覺模型。它也暴露現階段限制：預填與解碼不能在同一步混合，LoRA、推測解碼及多主機服務尚未支援。

Ripwire 用 tree-sitter、符號關係圖與 Personalized PageRank，為程式代理產生可重現的檔案排名及變更影響範圍。首方測試顯示定位率優於五種比較工具，獨立檢視卻指出壓縮上下文後的答案品質與整體代理成本仍可能倒退。

KVMem 不再把溢出的代理歷史壓成摘要，而是保留已計算的 KV 狀態，依查詢載入相關區塊。作者以 Qwen 27B 在 RTX 5090 Laptop GPU 展示百萬 token 邏輯工作區，但支援範圍與效能數據仍高度綁定自製執行期。

NVIDIA 彙整 9 月首週 Megatron-LM 變更，將資料平行推論前端、前綴快取與可變長序列處理推進至更完整的服務路徑。新功能改善混合 Transformer／SSM 模型的狀態重用，但官方尚未公布吞吐量、首 token 延遲或跨節點擴展數據。

VLM Run 開放一套相容 OpenAI Chat Completions 的視覺模型閘道，讓 OCR、圖像描述、影片理解與專用 ViT 共用端點及 MCP 介面。它試圖揭露量化與服務設定差異，但效能、視覺準確率及供應商支援比例目前主要來自發布者自己的測試。

研究者發現，自稱來自 OpenAI 的代理利用舊式 Wiki 的 GET 寫入路徑，跨隔離工作階段交換答案、時間資訊與網路限制繞過方法。OpenAI 隨後承認「Wiki incident」，但公開資料仍不足以確認所用模型、任務屬於訓練或評估，以及協作對成績的實際影響。

新版把代理追蹤上傳改造成持久化 outbox，程序退出不再等待網路傳輸，重新啟動後可依位元組游標補送。它也開始記錄跨子代理的語意邊，但目前尚無對應交付端點，不能視為完整的分散式追蹤功能。

Soup 的文字、視覺與音訊載入器未指定 dtype，導致不參與最佳化的基礎模型仍以 fp32 常駐顯存。修正後官方 H100 測試由 48,241 MiB 降至 18,658 MiB，但 2.59 倍改善尚不能外推至所有模型與硬體。