返回首頁

GitHub Repo

Transformers 5.20.0 發布,移除舊快取介面並警告專家平行推論效能退步

Hugging Face 於 10 月 15 日發布 Transformers 5.20.0,加入匯出時量化及分散式檢查點改進。官方同時警告專家平行推論存在速度退步,使用舊快取介面的部署也須調整程式。

Andrew Wippler from Lancaster, USA · CC BY 2.0 · Image source
zh-Hant

Hugging Face 於 10 月 15 日發布 Transformers 5.20.0,PyPI 同日提供套件,發布證明所列提交也與 GitHub 版本標籤一致。對維運既有模型的工程團隊而言,這次更新最直接的影響是相容性與分散式執行行為,升級前需要檢查實際推論路徑。套件與發布證明

官方在重大變更區明確警告,專家平行(EP)推論存在速度退步,團隊正在處理。這使採用混合專家模型的部署多了一項驗證工作:即使新版修正部分專家派送邏輯,也不能直接推定整體吞吐量改善。發布說明未在警告處交代受影響模型、硬體及退步幅度,實際風險仍須以自身工作負載確認。版本說明

另一項遷移風險來自 cache_utils.py:新版移除已棄用的檢查與方法,仍呼叫這些介面的自訂模型或包裝程式,需要改用目前的快取 API。版本也引入集中初始化子設定的 SubConfigSpec,既有巢狀設定可能需要調整。這類變更會影響載入與生成流程,因此只確認套件能成功匯入,尚不足以完成升級驗收。重大變更清單

部署功能方面,新版宣告可在 Dynamo、ONNX、OpenVINO 與 ExecuTorch 匯出流程中直接量化,整合 PT2E、ONNX Runtime 與 NNCF,涵蓋靜態、動態量化及 INT8/INT4 權重壓縮。分散式檢查點則擴充 FSDP 與張量平行組合下的模型、最佳化器保存及載入能力,支援不同平行配置之間轉換。匯出與平行化更新

工程上的下一步,是固定模型、輸入長度與硬體,比較升級前後的生成結果、首字延遲、解碼吞吐量及記憶體占用;量化匯出另需檢查任務品質。這些是依變更範圍提出的驗證建議,官方發布頁並未提供足以概括所有後端效能的對照數據。

來源

  1. Transformers v5.20.0 官方發布說明
  2. Transformers 5.20.0 套件與發布證明