GitHub Repo
Transformers 社群回報權重匯出回歸,特定重新命名規則可能使參數無法還原
10 月 30 日的 Transformers 社群回報指出,5.21.0 起的特定權重重新命名規則可能產生錯誤鍵名,導致匯出後重新載入遺失參數。社群已提出修補與單元測試,但截至查核時尚未合併,影響範圍仍待確認。

Transformers 社群於 10 月 30 日提出一項模型匯出回歸:當權重轉換使用帶有結尾錨點 $ 的 WeightRenaming 規則,save_pretrained() 可能將正規表示式符號寫進參數鍵名。回報者表示,5.20.0 可正常往返儲存與載入,5.21.0、5.22.0 則可重現問題;這是社群測試結果,尚非維護者確認的完整受影響版本清單。問題回報
具體案例來自 LiquidAI 的 LFM3-Audio-2B:原本應匯出為 mask_embedding 的權重,變成 mask_embedding$,重新載入時無法匹配原有規則。回報者稱,實際匯出的模型因此留下隨機初始化參數,語音生成異常卻沒有警告。模型公開程式碼可確認,該參數用於語音深度解碼器,初始化採標準差 0.02 的常態分布;但本次查核未獨立執行完整重現。模型程式碼
修補提案將問題定位在反轉權重映射時的字串處理:轉成替換字串的模式須移除結尾 $,反向匹配模式則須保留結尾限制。PR #50178 恢復這兩處處理,並加入 test_reverse_anchored_patterns。截至查核時,PR 仍開啟,頁面未顯示審查通過,因此不能視為正式版本已修復。修補提案
這項回報對微調後匯出、模型格式轉換與部署封裝流程尤其有參考價值。官方文件將 save_pretrained() 儲存的目錄列為 from_pretrained() 的載入來源;據此,工程上的驗證應涵蓋儲存前後的參數鍵名、張量內容與固定輸入輸出,而不只確認檔案成功寫出。接下來應觀察修補是否合併、發布版本及更多模型的往返測試;現有證據不足以推論所有 Transformers 模型都受影響。載入與儲存文件