Ollama 社群實測：M5 Pro 上量化決策模型的提示處理比 BF16 慢

Ollama 社群於 10 月 7 日提出一份值得本地代理開發者留意的效能回報：在 M5 Pro、48 GB 記憶體與 Ollama 0.40.0 環境中，三款決策模型的 MLX 量化版本，處理較長提示時均比 BF16 版本慢。測試源於即時貪食蛇遊戲，每次模型決策必須趕在下一個遊戲更新週期前完成，因此衡量的是請求延遲。測試回報

回報者使用 /v1/systemone，針對約 120、500、1,100 與 1,900 token 四種輸入長度，各測八個不同請求，並保持沒有其他模型載入。約 1,900 token 時，tev1 的 BF16 中位延遲為 685 毫秒，NVFP4 為 759 毫秒；nimble 分別為 1,234 與 1,433 毫秒；clef-flash 的 BF16 為 1,280 毫秒，MXFP8 為 1,423 毫秒。短輸入下差距較小，延遲差隨提示變長而擴大。測量數據

這個結果提醒工程師，權重占用與回應速度需要分別驗證。MLX 的量化矩陣乘法介面除了壓縮權重，也使用分組縮放資訊，並由位元數與量化模式控制運算。文件說明了資料表示，沒有保證降低位元數就能縮短所有工作負載的延遲。從工程角度推論，若應用主要花時間處理整段提示，就應直接比較該階段的實測耗時。MLX 技術文件

回報者將差距歸於 prefill，並猜測反量化成本可能影響運算；目前沒有核心剖析足以確認這項解釋，也沒有維護者回覆或修補連結。這份單機測試不能推廣到所有 Apple 晶片、模型或文字生成情境。對準備部署即時決策代理的團隊，下一步應用自己的輸入長度重跑公開指令，同時記錄記憶體與延遲分布，再觀察上游是否提供跨硬體重現及量化核心分析。重現方法與目前狀態