返回首頁

GitHub Repo

Transformers 5.23.0 統一模型匯出物件,部署流程須調整回傳值與儲存介面

Hugging Face 於 11 月 13 日發布 Transformers 5.23.0,以 ExportedModel 統一多種後端的匯出、儲存與載入流程。這項變更改善部署產物的追溯能力,也帶來既有匯出程式的相容性調整。

Marcus Qwertyus · Public domain · Image source
zh-Hant

Hugging Face 於 11 月 13 日發布 Transformers 5.23.0,其中一項直接影響部署工具鏈的更新,是讓模型匯出統一回傳 ExportedModel。新版以同一物件銜接 Dynamo、ONNX Runtime、OpenVINO 與 ExecuTorch 的匯出產物,並提供儲存、上傳 Hub、重新載入及呼叫介面。發布說明

過去 export() 回傳的物件取決於後端,儲存方式也散落在不同設定欄位。新版加入 export.json,記錄各元件的檔案、匯出設定、追蹤時的輸入形狀與資料型別,以及套件版本和輸入輸出名稱。對維護多種部署格式的團隊而言,這提供了共同的產物描述方式,有助於查明模型如何轉換、需要哪些輸入;這項工程價值來自介面與中繼資料的一致性。合併提案

升級時須檢查直接使用匯出回傳值的程式。現在取得底層圖應使用 .program,多元件則透過 .components[name].program;原本放在 OnnxConfig、OpenVINOConfig 的 output_path 已移除,改由 save_pretrained() 儲存。自訂匯出器也須實作新的匯出、儲存與載入方法,並調整後端註冊方式。介面變更

生成模型仍有額外整合工作。官方文件說明,export_for_generation() 會拆分提示預填與逐 token 解碼,多模態模型還可能拆出編碼器;這些是獨立運算圖,呼叫端仍須安排資料流與生成迴圈。因此,統一匯出物件並不代表已取得完整的文字生成服務。匯出文件

目前匯出器仍屬實驗功能,部分修補依賴特定上游版本。工程團隊應先固定相依套件,以代表性輸入驗證儲存後重載的結果,並檢查快取與動態形狀;後續值得追蹤 API 穩定性及各後端的相容範圍。官方此次未提供足以推論所有模型效能增幅的統一基準。限制與版本建議

來源

  1. Transformers v5.23.0 發布說明
  2. ExportedModel、Hub 儲存載入與後端註冊變更
  3. Transformers Exporters 官方文件