所有文章 · SURL AI News

Ollama 預發布版改用 llama.cpp 原生決策推論，舊 GGUF 模型須留意重新下載

Ollama 於 10 月 12 日合併決策模型推論路徑更新，並納入 v0.40.4-rc1，將提示組裝與評分交給 llama.cpp。更新也調整評分規格與模型中繼資料要求，既有部署需驗證模型檔案相容性。

10 月 11 日的 Transformers 開發版回報指出，啟用 ZeRO-3 後，各程序仍可能重複載入完整檢查點，增加啟動階段的資源壓力。案例附有雙裝置最小重現與局部修補結果，但尚無正式修補或完整記憶體量測。

10 月 12 日的 Transformers 社群回報指出，T5 系列的位置偏置張量可能阻止 SDPA 使用融合核心，造成嵌入運算效能退步。修補提案已附 AMD、NVIDIA 測試，但尚未合併，改善幅度仍須依實際工作負載驗證。

10 月 11 日的 Ollama 社群回報指出，OpenAI 相容端點可能將含快取的提示總量除以未快取部分的運算時間，放大提示吞吐量。案例附有串流回應與重現步驟，但修補狀態及跨版本影響仍待確認。

10 月 12 至 13 日的 Transformers 技術討論指出，缺少加速核心時，線性注意力與卷積的回退實作可能忽略文件邊界，改變打包樣本的計算結果。社群已提出隔離序列與直接報錯兩種修補方案，但尚未合併。

10 月 12 日的 Dify 社群回報指出，Agent 節點啟用失敗分支後，文字片段可能被緩衝至節點完成才集中送出。案例附有事件時間戳與程式路徑分析，但尚無維護者確認或正式修補。

Ollama 於 10 月 12 日合併模型查找優化，並納入 v0.40.4-rc0，減少同一模型後續請求的重複處理。維護者測試顯示，兩款嵌入模型的暖請求延遲降低 41% 至 56%，但結果仍須在實際部署驗證。

10 月 12 日的 Hermes Agent 社群回報指出，工作階段重設可能終止背景程序，卻未向使用者交代中斷狀態。另一位參與者提供局部執行測試，將通知缺口指向清理旗標，但完整 Telegram 流程與正式修補仍待確認。

10 月 12 日的 Transformers 社群回報指出，Mamba2 非融合 RMSNorm 未依設定分組，可能與融合訓練路徑產生不同輸出與梯度。回報附有 CPU、CUDA 對照及局部修補驗證，但尚無正式修補或完整模型品質評估。

Ollama 於 10 月 12 日合併 MLX 記憶體修補，並納入 v0.40.4-rc0，處理投機解碼回滾後持續保留大型緩衝區的問題。維護者的 12 次工具呼叫對照測試顯示，最後一輪少持有 3.52 GiB，但跨模型效果仍待驗證。

10 月 11 日的 Open WebUI 社群回報指出，記憶向量重建可能忽略嵌入請求的併發上限，並附上大量 429 回應紀錄。隔日另一位參與者補上函式層級重現，但尚無正式修補或完整部署驗證。

10 月 11 日的 Transformers 社群回報指出，CPU 與 Apple MPS 即使使用相同金鑰及種子，也會建立不同的 SynthID 文字浮水印取樣表。小規模測試顯示，跨裝置評分可能降至未加浮水印的基準，但完整偵測器與新版套件仍待驗證。