所有文章 · SURL AI News

Ollama 預發布版重用已驗證模型，嵌入暖請求測試延遲降低逾四成

Ollama 於 10 月 12 日合併模型查找優化，並納入 v0.40.4-rc0，減少同一模型後續請求的重複處理。維護者測試顯示，兩款嵌入模型的暖請求延遲降低 41% 至 56%，但結果仍須在實際部署驗證。

10 月 12 日的 Transformers 社群回報指出，Mamba2 非融合 RMSNorm 未依設定分組，可能與融合訓練路徑產生不同輸出與梯度。回報附有 CPU、CUDA 對照及局部修補驗證，但尚無正式修補或完整模型品質評估。

Ollama 於 10 月 12 日合併 MLX 記憶體修補，並納入 v0.40.4-rc0，處理投機解碼回滾後持續保留大型緩衝區的問題。維護者的 12 次工具呼叫對照測試顯示，最後一輪少持有 3.52 GiB，但跨模型效果仍待驗證。

10 月 11 日的 Ollama 社群回報指出，Go 用戶端解碼工具呼叫時，可能將大型整數與高精度小數四捨五入，再把改寫後的值送回對話歷史。修補提案已加入串流與桌面工具測試，但尚未合併，數字型別變更也需要相容性處理。

10 月 11 日的 Transformers 開發版回報指出，HunYuan-VL 在批次生成多個候選答案時，影像特徵展開可能出錯。案例附有最小重現，另一位參與者表示可重現，但正式模型影響與修補仍待確認。

10 月 10 日的 Dify 社群回報指出，MCP 用戶端未追蹤分頁游標，可能只取得伺服器的第一頁工具。修補提案已附局部回歸測試，但尚未合併，完整部署與驗證流程仍待確認。

10 月 10 日的 Dify 社群回報指出，透過 Snippet 插入的節點可能產生無法解析的變數參照，讓模型收到佔位符而非文件內容。修補提案已附回歸測試，但尚未合併，也不會遷移既有工作流程。

10 月 10 日的 Transformers 社群追蹤指出，Mamba2／Zamba2 的快取解碼可能漏套時間步長限制，已有另一位使用者回報重現 logits 差異。修正方向已提出，但正式版本影響範圍、加速核心驗證與生成品質影響仍待確認。

10 月 10 日的 Ollama 回報指出，rnj-1 在新版執行環境中可能於載入階段中止，API 回傳 500。協作者隔日將原因指向 llama.cpp 的注意力檢查變更，並提供替代 GGUF，但正式修補與完整影響範圍仍待確認。

10 月 9 日的 Dify 社群回報指出，代理重建對話歷史時會重新產生工具呼叫 ID，可能削弱模型服務的提示快取重用。回報提出穩定 ID 的修正方向，但實際成本影響與正式修補狀態仍待確認。

10 月 9 日的 Transformers 開發版回報指出，部分 PyTorch 備援算子會忽略文件邊界，讓打包序列互相影響。社群已提出修補與對照測試，但尚未合併，正式版本影響範圍仍待確認。

10 月 9 日的 Langflow 社群回報指出，Agent 預設提示中的日期欄位每次執行都注入秒級時間戳，可能讓後續對話歷史失去提示快取命中。回報提出改用日期的建議，但尚缺公開效能量測與正式修補驗證。