所有文章 · SURL AI News

Transformers 社群回報 Gemma 張量平行缺陷，混用 Tensor 與 DTensor 可能中斷推論

10 月 12 至 13 日的 Transformers 開發版回報指出，Gemma 3、4 多模態類別在張量平行下可能因張量型別不一致而無法完成前向運算。案例附有最小重現，作者也指向修補提案，但正式版本影響與修補完整性仍待確認。

10 月 12 至 13 日的 vLLM 社群回報指出，NVFP4 KV 快取在特定 token-major 布局下可能讀寫錯位，另有參與者重現核心層級的資料重疊。問題尚待維護者釐清支援範圍，不能直接推定所有正式部署均受影響。

Ollama 於 10 月 12 日合併決策模型推論路徑更新，並納入 v0.40.4-rc1，將提示組裝與評分交給 llama.cpp。更新也調整評分規格與模型中繼資料要求，既有部署需驗證模型檔案相容性。

Ollama 於 10 月 12 日合併模型查找優化，並納入 v0.40.4-rc0，減少同一模型後續請求的重複處理。維護者測試顯示，兩款嵌入模型的暖請求延遲降低 41% 至 56%，但結果仍須在實際部署驗證。

10 月 12 日的 Hermes Agent 社群回報指出，工作階段重設可能終止背景程序，卻未向使用者交代中斷狀態。另一位參與者提供局部執行測試，將通知缺口指向清理旗標，但完整 Telegram 流程與正式修補仍待確認。

10 月 10 日的 PyTorch 社群回報指出，Inductor 在特定算子組合下會將矩陣乘法的完整乘積寫入記憶體，增加量化 LLM 單筆解碼成本。案例涵蓋正式版與開發版，修補已有局部測試及量測，但仍是未合併的草稿。

10 月 9 日的 Dify 社群回報指出，代理重建對話歷史時會重新產生工具呼叫 ID，可能削弱模型服務的提示快取重用。回報提出穩定 ID 的修正方向，但實際成本影響與正式修補狀態仍待確認。

微軟於 10 月 9 日推出 Microsoft-Decision-1，基於 Qwen3.5-9B 後訓練，針對分類、路由與代理動作評估回傳預設選項的機率。模型已列入 Foundry 與 OpenRouter，但效能與信心校準仍須以實際工作負載驗證。

Microsoft 於 10 月 9 日發布 ONNX Runtime 1.31.0，將模型套件與 EPContext 資料介面納入穩定 API，並改善 CPU 模型載入與量化 MoE 執行。版本已上架 PyPI，但使用 GPU 外掛的團隊須核對算子綱要相容性，實際效能也需自行量測。

JetBrains 於 10 月 8 日發布 Mellum2.1 Thinking，維持 12B MoE 架構，將更新重點放在真實軟體環境中的強化學習。權重採 Apache 2.0 授權，但代理評測仍屬廠商自報，量化部署也需另行驗證。

10 月 7 日的 PyTorch 與 TorchTitan 回報指出，copy-on-write 張量在 CUDA Graph 擷取期間實體化，可能漏記複製操作，導致重播產生錯誤結果。案例附有最小重現與 MoE 推論對照，但正式版本影響範圍及上游修補仍待確認。

Anthropic 於 10 月 7 日發布 Claude Haiku 5.5，支援可調推理強度，並降低短提示請求的 token 單價。AWS 同步提供模型，但長提示價格、跨區路由與實際任務成本仍須分別評估。