所有文章 · SURL AI News

Transformers 社群回報 DeBERTa 正規化退步，全形字元與中文部首可能變成未知 token

10 月 15 日的 Transformers 社群回報指出，v5 的 DeBERTa tokenizer 可能漏用 SentencePiece 正規化規則，使部分相容字元編碼為未知 token。另一名參與者已獨立重現，但正式修補與下游準確率影響仍待確認。

10 月 15 日的 Ollama 社群回報指出，AMD 顯示卡執行部分卸載至 CPU 的 Gemma 4 模型時，可能在 HIP 圖初始化階段耗盡記憶體。回報者以停用圖執行暫時避開崩潰，但尚無維護者確認根因或正式修補。

Hugging Face 於 10 月 15 日發布 Transformers 5.20.0，加入匯出時量化及分散式檢查點改進。官方同時警告專家平行推論存在速度退步，使用舊快取介面的部署也須調整程式。

10 月 15 日的 Open WebUI 社群回報指出，串流回覆會逐 token 將累積全文重寫至 Redis，增加長時間代理任務的傳輸成本。回報附有模擬模型測量與重現步驟，但正式修補版本及實際部署影響仍待確認。

10 月 14 日提出的 Transformers 修補，將非量化模型的 ZeRO-3 檢查點讀取與權重轉換集中至 rank 0，降低主機記憶體壓力。作者已附雙程序回歸測試與大型模型短程訓練結果，但提案尚未合併。

Hermes Agent 於 10 月 15 日發布 v0.22.2，修正前版誤帶未發布閘道程式碼的建置問題。新版也處理本機模型長提示誤判逾時與重開機後閘道無法啟動，但前版建立的部分工作階段仍有刪除限制。

10 月 13 至 14 日的 Transformers 討論指出，Whisper 啟用時間戳生成並傳入單元素 EOS 清單時，可能觸發型別錯誤。回報者已補充實際音訊測試，但修補合併與正式版本影響仍待確認。

10 月 14 日的 Transformers 社群回報指出，SAM 3 處理純文字提示時會跳過幾何編碼器，使輸入結構與 Meta 參考實作不同。參與者已回報獨立重現並提出修補，但維護者尚未確認，分割準確率影響仍待量測。

10 月 13 日的 Transformers 回報指出，新版分詞器載入路徑可能忽略模型既有的正規化設定，讓 WeMM-Embedding-2B 輸入多出結尾換行 token。案例附有跨版本最小重現，但尚無維護者確認或檢索品質量測。

Liquid AI 於 10 月 13 日公開 LFM2.5-24B-A2B 與基底模型權重，將上下文擴至 131,072 tokens，並改為固定先推理再回答。官方公布本機解碼與代理評測結果，但部署者仍須驗證完整任務延遲、工具解析及量化後品質。

10 月 13 日的 Dify 社群回報指出，LLM 節點可能將推理區塊中的 JSON 當成結構化輸出，即使正式答案符合設定的格式。修補提案已附串流與非串流回歸測試，但尚未合併，也未處理完整 JSON Schema 驗證。

10 月 12 至 13 日的 Transformers 技術討論提出，讓帶注意力遮罩的 CPU 推論直接使用原生 GQA，省去 K/V 張量複製。作者測試得到 1.21 倍解碼速度，但另一台機器僅有 1.06 倍，提案尚未合併。