Transformers 5.22.0 支援 Mistral Large 4，新增 FP8 權重微調能力

Hugging Face 於 10 月 29 日發布 Transformers 5.22.0，主要新增 Mistral Large 4（Le Chonk）支援，與模型權重公開同步。對採用 Transformers 的團隊而言，這讓模型載入、影像輸入處理與後續微調有了正式版本可依循；Mistral 本月稍早提供的是 API 公開預覽，這次則開放下載與自行部署。版本說明、權重發布公告

Large 4 接收文字與影像、輸出文字，支援百萬 token 上下文。模型約有一兆總參數，每個 token 啟用約 490 億參數；若計入嵌入與輸出層則為 520 億。其 MoE 每層從 128 個路由專家選取四個，另有一個共享專家。稀疏啟用降低每步計算量，但工程上仍須為完整權重與執行狀態規畫記憶體，不能只按啟用參數估算硬體。版本說明

注意力部分結合壓縮 KV 表示的 MLA 與稀疏位置選取機制，每個查詢最多選取 2,048 個鍵位置。Hugging Face 同時提供 FP8、NVFP4 的部署說明；其中 NVFP4 路徑要求 NVIDIA Blackwell GPU。值得區分的是，官方展示的八張 H200 部署配方只配置約 131K 上下文，並非直接驗證百萬 token 在相同硬體上的服務能力。技術與部署說明

同版另一項實質變更，是讓 FP8 量化權重可用於 LoRA 等適配器訓練，新增密集與分組 FP8 矩陣乘法的反向傳播。發布說明列出，在所述 8K token 條件下，分塊反量化將 MoE 層反向傳播峰值記憶體從約 28.9 GiB 降至 2.8 GiB；這是局部運算結果，不能當作整體訓練顯存需求。量化更新

導入時還要檢查推理模式：可選 low、medium、high，預設 high，設定 none 仍會使用 high。團隊應量測中文任務品質、輸出 token 與延遲，再決定服務配置。授權雖允許修改與微調，經營模型即服務業務仍須另取得商業授權；公開權重不代表所有託管用途均無條件開放。推理設定、授權說明