GitHub Repo
Transformers 社群提出 ERNIE 5.5 適配實作,完整模型驗證與上游整合仍待完成
11 月 16 日,Transformers 貢獻者回報已完成 ERNIE 5.5 Flash Base 的適配實作,並以部分真實權重比對推論結果。這項進展回應現行載入相容性缺口,但尚未成為正式版本支援。
Transformers 社群在 11 月 15 日提出 ERNIE 5.5 Flash Base 支援請求,指出 5.23.0 的 AutoConfig 無法辨識檢查點宣告的 ernie5_5_moe 架構。16 日,提案者表示已完成可直接載入 BF16 權重的實作,並公布開發分支;專案成員則表示將向 ERNIE 團隊確認整合安排,避免重複開發。截至查核時,討論串尚未列出上游合併請求。來源:支援討論
這個缺口影響模型進入既有微調工具鏈的便利性。權重採用 Hugging Face 格式,仍需要對應的模型類別才能執行;依回報,檢查點既沒有提供 auto_map,也未附模型實作,因此無法直接走既有 Auto 類別載入路徑。對依賴 Transformers 的訓練流程而言,工程上仍須先補齊架構適配,才能評估後續整合。來源:問題說明
百度模型卡顯示,這是總參數 2,800 億、每 token 啟用 140 億參數的純文字基礎模型,尚未經過中期或後訓練。其 43 層骨幹混用 37 層壓縮注意力與 6 層 MLA 稀疏注意力,並採用潛在空間 MoE。不同層的注意力維度與快取行為,使適配工作涉及實際運算路徑,不能只新增架構名稱映射。來源:官方模型卡
目前驗證範圍仍有限。貢獻者稱,已用真實權重的三層切片對照 vLLM-ERNIE,確認區塊輸出、專家路由與快取解碼的一致性;這些結果來自提交者,尚未證明完整模型、長上下文或訓練梯度皆正確。來源:驗證回報
需要先部署的團隊,可參考百度模型卡列出的 SGLang 與 vLLM-ERNIE 路徑。後續值得追蹤的是上游實作、完整權重數值比對及 FP8 載入驗證;微調團隊也應另行確認授權條款與記憶體需求,不能把每 token 啟用參數量當作完整權重的儲存成本。來源:部署與授權說明