所有文章 · SURL AI News

Ultralytics 8.4.143／8.4.144 將 YOLO26 INT8 QAT 接入訓練、檢查點與 TensorRT 匯出鏈

YOLO26 現可用 `quantize=8` 執行量化感知訓練，並把量化範圍保存至檢查點，直接輸出含 Q/DQ 節點的 ONNX 或 TensorRT 引擎。緊接發布的 8.4.144 補上量化成效說明與數值穩定性修正，也凸顯這條部署路徑仍有明確限制。

vLLM 0.29.0 完成 Model Runner V2 的預設切換，並擴充推測解碼、強化學習權重同步及多種硬體後端。這不是可直接替換映像的小更新，既有部署需重新驗證記憶體配置、輸出一致性與已移除介面。

NeoHorse-1 以路由器收集不同模型完成代理任務的軌跡，再用課程式 SFT 與線上蒸餾訓練 4B、9B 模型。官方綜合分數高於同尺寸 Qwen3.5 基線，但尚未證明多輪自我更新能持續增益或避免資料偏移。

Cohere 開源 North Mini Code 專用推論引擎，以常駐 megakernel 取代逐算子啟動與全 GPU 同步。官方測試顯示單張 H100 的端到端解碼吞吐量高於 vLLM，但目前僅支援特定模型、硬體與小批次。

Unsloth Desktop 改以 Vulkan 服務 Strix Halo、Strix Point 及缺乏 ROCm 的 AMD iGPU，並縮減 MLX KV cache 與安裝套件體積。效能數字來自官方測試，且已有使用者回報升級後介面仍顯示 ROCm，自動選路仍待實機驗證。

新開源外掛毋須分叉 vLLM 核心，即可用相同的 OpenAI 相容 API 在 Tenstorrent 硬體上提供多款語言及視覺模型。它也暴露現階段限制：預填與解碼不能在同一步混合，LoRA、推測解碼及多主機服務尚未支援。

新預發布版會替每個候選位置保存 KDA 狀態與卷積視窗，使被拒絕的草稿 token 能正確回滾。初步單機測試顯示低並行推論可加速，但狀態記憶體會隨回滾深度及服務 slot 數大幅增加。

Ripwire 用 tree-sitter、符號關係圖與 Personalized PageRank，為程式代理產生可重現的檔案排名及變更影響範圍。首方測試顯示定位率優於五種比較工具，獨立檢視卻指出壓縮上下文後的答案品質與整體代理成本仍可能倒退。

LG AI Research 以因果卷積與群組感知 MLP 取代自注意力，讓時間長度及變量數的計算成本線性成長。模型在自家 FinVerse 評測領先 43 個基線，但非商用權重與未獨立重現的投資績效限制了立即部署價值。

KVMem 不再把溢出的代理歷史壓成摘要，而是保留已計算的 KV 狀態，依查詢載入相關區塊。作者以 Qwen 27B 在 RTX 5090 Laptop GPU 展示百萬 token 邏輯工作區，但支援範圍與效能數據仍高度綁定自製執行期。

ACE 從 SwiGLU 權重與路由器方向預估專家貢獻，不需重訓模型或使用校正資料。作者在三款 MoE 模型上取得較佳的高跳過率品質，但速度數據仍限於單機 A100 與工作負載相符的門檻設定。

NVIDIA 彙整 9 月首週 Megatron-LM 變更，將資料平行推論前端、前綴快取與可變長序列處理推進至更完整的服務路徑。新功能改善混合 Transformer／SSM 模型的狀態重用，但官方尚未公布吞吐量、首 token 延遲或跨節點擴展數據。