Transformers 整合 ggml 量化核心，Apple Silicon 可直接執行壓縮 GGUF

Hugging Face 於 9 月 22 日公布 Transformers 的 GGUF 量化推論整合：開發者可在 Apple Silicon 上保留壓縮權重，沿用 Python 模型與生成介面。這次公布的是整合方法與測速結果；官方要求安裝主分支，尚未將它描述為穩定版功能。[官方公告](https://huggingface.co/blog/transformers-llama-cpp-quants)

核心差異在於載入後如何計算。相容的 ggml 核心直接讀取封裝量化區塊執行矩陣運算，省去先把整組權重展開的需求。載入時指定 `gguf_file` 即可，後續仍能使用既有生成流程。若缺少相容核心，系統會退回完整反量化，記憶體需求隨之增加；因此，檔案能載入並不保證走到節省記憶體的路徑。文件另指出，壓縮載入會自動採用單精度運算型別，因為該路徑在 MPS 上較快；自行指定其他型別會收到警告。權重儲存精度與運算型別因此須分開核對。[GGUF 文件](https://huggingface.co/docs/transformers/main/en/quantization/gguf)

生成迴圈也同步減少等待：支援的無填補輸入會提早移除多餘遮罩；停止條件則採非同步複製，延後一步讀取，讓處理器繼續排入 GPU 工作。超過停止位置的額外結果會被裁掉。這些改動已先行合併，不能解讀為全部都在公告當天推出。[停止檢查修正](https://github.com/huggingface/transformers/pull/47975)、[遮罩修正](https://github.com/huggingface/transformers/pull/48814)

效能比較仍有口徑差異。官方在配備 32 GB 統一記憶體的 M2 Max 上測試三款模型，但 llama.cpp 採三次解碼測量平均值，Transformers 採三次暖機後的最佳值，且包含短提示的預填充。這組結果可作為本機實驗起點，不能據此宣稱兩套執行環境效能完全相同。[測試方法](https://huggingface.co/blog/transformers-llama-cpp-quants)

目前壓縮推論路徑限於 MPS，主力支援 Qwen3.5 稠密與專家混合架構，填補與批次處理仍待改善。對研究者而言，價值在於把量化檢查點接回熟悉的評測、模型掛鉤與自訂解碼流程。導入時應固定提交與核心版本，確認沒有反量化回退，再分別量測中文任務品質、首字延遲與峰值記憶體；也應記錄首次下載核心與暖機時間，避免將啟動成本混入穩態速度。短提示單人對話的結果，仍不足以代表長上下文或多人服務。[支援範圍](https://huggingface.co/docs/transformers/main/en/quantization/gguf)