所有文章 · SURL AI News

Colibrì 把兆級 MoE 權重分層放進 VRAM、RAM 與 NVMe，但低記憶體不等於高速推論

近期社群熱度上升的 Colibrì，以純 C 引擎按需載入稀疏專家，讓 744B 至 2.8T 參數模型可在非資料中心硬體啟動。它降低的是模型常駐記憶體門檻，實際解碼速度仍高度受 SSD 頻寬、專家命中率與量化品質限制。

Alibaba 內部使用的 OpenCodeReview 本週形成明顯開源採用熱度，把檔案選取、規則匹配與留言定位交給確定式程式，再讓 LLM 代理處理脈絡搜尋。官方基準顯示它較通用 coding agent 節省約九成 token，但代價是較低召回率。

OpenBMB 發布 MiniCPM5‑2B、訓練資料及從預訓練到 RL 的多階段權重，並提供 GGUF、MLX、GPTQ 與推測解碼版本。模型維持標準 Llama 架構與 128K 上下文，但工具呼叫所需的 SGLang 解析器目前可能仍要從主分支安裝。

Hugging Face 自 9 月 13 日起移除以一般模型倉庫保存的舊版運算核心，使用者須升級 `kernels` 並改用新的 kernel 倉庫類型。遷移同時強制指定 API 版本及限制可信發布者，但下載時的簽章驗證仍未自動啟用。

DeepSeek 自 9 月 14 日 04:00 UTC 起，將所有 `deepseek-v4-pro` 請求暫時路由至新的 V4.1 Flash。新架構把 KV cache 壓至每 token 890 bytes，但獨立評測顯示它因推理輸出更長，單項任務成本反而可能高於上一代 Flash。

NVIDIA 更新 Nemotron IMO 2026 資源，公開 SFT／RL 權重、資料、提示詞及可續跑的完整推論程式。系統取得 30／42 分，但成果高度依賴三個 561B checkpoint 與龐大的測試時計算，不能視為單次模型回答能力。

Pipecat 1.10 新增跨片段語音延續、伺服器端語句切分與可調音訊緩衝，同時支援新版 OpenAI、Anthropic及 MCP SDK。這次升級也更換部分 HTTP、STT 與推理預設值，既有容器及語音管線不能只靠套件測試判斷相容性。

Together AI 新增 Expert LoRA、逐樣本權重、訓練前資料驗證及即時指標，讓開發者能控制 MoE 的專家層而非只調整注意力。官方實驗的知識回憶率由 15% 升至最高 89%，但比較規模有限，且專家與注意力 adapter 目前不能混用。

Bartowski 重新上傳 Qwen3.8‑27B GGUF，依各張量敏感度分配量化格式，並公開可重建的配置檔與 KLD 測量。新舊檔案共用部分名稱，但 `_L` 的語意及實際位元配置已改變，部署者不能只比檔名。

Wringer 先以暫時性 LoRA 修復 2.655 bpw 模型，再把修正重新求解進整數碼與 scale，推論時不保留 adapter。公開模型在三項基準保留約 94.65% 的 BF16 分數，但完整模型其實是 4.69 bpw，也沒有原生低位元 kernel。

新版把分離式推論、vLLM 多程序路由及多 worker 副本管理帶進同一個開源服務層。它也讓模型能先下載、從既有快取啟動並續傳，但發布說明沒有提供吞吐或延遲比較。

SANS 蜜罐捕獲一套半自動工作流，代理會搜尋弱驗證的 LLM 轉售服務、取得金鑰，再測試並彙整成統一 API。這不是完全自主複製，但顯示被竊推論資源已能反過來支援下一輪掃描與入侵。