所有文章 · SURL AI News

Transformers 5.20.2 修復生成輸入型別遺失，納入 BF16 專家梯度修補

Hugging Face 於 10 月 19 日發布 Transformers 5.20.2，修復生成流程搬移輸入時遺失容器型別、影響多模態模型的問題。新版也正式納入特定專家平行配置的 BF16 梯度修補，為先前社群回報提供可部署版本。

10 月 19 日的 Transformers 社群回報指出，Qwen4-Exp 重用已重設的快取時，殘留位置資訊可能改變稀疏注意力選擇。回報附有重現程式與本機修補，但尚無維護者確認，也未完成預訓練模型評估。

Ollama 於 10 月 18 日發布 0.40.7 候選版，新增 PPLX Decider v1.2 的 MLX 執行支援。更新涵蓋非因果注意力、決策讀出與影像處理，但本機效能及量化後機率仍須驗證。

10 月 18 日的 Open WebUI 社群回報指出，FastMCP 工具傳回清單時，相同資料可能以文字與結構化內容重複進入模型上下文。當日已有修補提案，但尚未合併，實際 token 與成本影響仍須依工作負載量測。

Kyutai 於 10 月 16 日公布 REKI，公開預訓練與微調權重，以及資料處理、訓練和部署程式碼。模型在動作專家中加入短期記憶，官方測試顯示可減少反覆動作，但權重限非商業用途，效能仍待獨立重現。

Hugging Face 於 10 月 16 日發布 Transformers 5.20.1，修正 5.20.0 在 PyTorch 2.7 環境中的模型載入回歸問題。新版將分散式檢查點功能的版本門檻調整至 PyTorch 2.8，避免缺少模組的錯誤波及一般載入流程。

10 月 17 日的 Transformers 社群回報指出，Mask2Former 部分投影層以一般 Python 串列保存，可能漏出最佳化器與裝置搬移流程。社群已提出修補，但正式修復版本與實際分割準確率影響仍待確認。

IFM 於 10 月 15 日發布六款 Jais 3 模型，涵蓋 0.9B 至 375B 參數，聚焦阿拉伯語推理與工具操作。官方同步公開訓練階段檢查點與評測資產，但效能數據仍待獨立重現。

Ollama 於 10 月 16 日發布 0.40.6，修正 Windows 命令列服務遭強制終止後，推論子程序可能繼續執行的問題。新版利用作業系統管理程序生命週期，涵蓋 llama-server 與 MLX runner。

NVIDIA 於 10 月 16 日發布 Dory 1.0，以重複執行共享層的方式，讓同一份 4B 權重支援不同推論計算預算。模型提供最後迴圈 KV 快取選項，但效能仍屬官方測試，主要推論框架的支援也尚待整合。

Elorian 於 10 月 16 日推出 Glimpse 研究預覽，讓模型在推理期間放大影像、重看影片並使用多模態工具。模型已上架 API 平台，但官方評測涉及不同代理與推理設定，實際延遲及成本仍須驗證。

Mistral 於 10 月 15 日公開 Timestral，提供 5M 至 209M 參數權重，可在 CPU 執行機率預測。模型支援 32,768 個時間步上下文，但官方評測優勢與實際部署效能仍待獨立驗證。