返回首頁

GitHub Repo

ONNX Runtime 1.31.0 穩定化模型套件 API,強化量化 MoE 推論與外掛相容性要求

Microsoft 於 10 月 9 日發布 ONNX Runtime 1.31.0,將模型套件與 EPContext 資料介面納入穩定 API,並改善 CPU 模型載入與量化 MoE 執行。版本已上架 PyPI,但使用 GPU 外掛的團隊須核對算子綱要相容性,實際效能也需自行量測。

Coolcaesar · CC BY-SA 4.0 · Image source
zh-Hant

Microsoft 於 10 月 9 日釋出 ONNX Runtime 1.31.0,更新重點涵蓋模型部署介面、量化推論與執行後端整合。PyPI 同日提供新版套件及多平台 wheel,確認此次已有可安裝的正式發布產物。發布說明、PyPI 套件

部署端最直接的變化,是模型套件與 EPContext 資料讀寫回呼升為穩定 C/C++ API。模型套件可用於選擇相容的模型變體及建立推論工作階段;EPContext 回呼則讓應用程式管理後端上下文資料的儲存。原先使用實驗介面的整合程式需要遷移,模型套件入口改用 OrtApi::GetModelPackageApi。從工程角度看,這有助於把模型選擇與儲存整合納入較穩定的介面契約。API 更新

CPU 路徑則將符合條件的權重預打包平行化,並以 MLAS QNBit 核心及分組專家派送加速區塊式 INT4/INT8 MoE。這分別針對初始化與專家矩陣運算成本,但發布資訊不能直接推算特定模型的延遲降幅;團隊應依批次大小、量化設定與硬體量測。CPU 更新

升級時需特別檢查核心與 GPU 外掛的組合。官方列出 CUDA Plugin EP 0.3.0、WebGPU Plugin EP 0.5.0 為對應版本,並要求雙方採用相同的 contributed-operator schemas。綱要不一致可能造成錯誤執行或崩潰,外掛註冊階段也未必能偵測;官方因此建議以相同原始碼修訂建置。相容性要求

另一項行為變更是 GatherBlockQuantized 遇到超界索引時改輸出零切片,與 ONNX Gather 的錯誤語意不同。工程團隊下一步應先核對 API 遷移與外掛版本,再以既有模型驗證輸出一致性、冷啟動時間及吞吐量,尤其應保留超界索引測試,避免新行為掩蓋上游資料問題。行為變更

來源

  1. ONNX Runtime v1.31.0 發布說明
  2. onnxruntime 1.31.0 套件與發布檔案