Ollama 預覽版納入 DFlash2，MLX 推測解碼測試較原生 MTP 加速約 14% 至 25%

Ollama 於 10 月 27 日發布 v0.40.12-rc0 預覽版，將前一天合併的 DFlash2 支援帶入 MLX 推論後端。對在 Apple 晶片上執行本機模型的開發者，這次更新增加了原生多 token 預測（MTP）以外的解碼選項；截至查核時，該版本仍標為預發布。版本公告

DFlash2 在平行產生草稿的架構中加入區塊內動態卷積，以及候選選擇器。前者讓相鄰位置交換局部資訊，後者依前一個已選 token，重新評分下一位置的候選，讓整段草稿具有連貫的相依關係。草稿主體仍只需一次平行前向運算，序列式選擇交由較小的選擇器處理。架構文件

Ollama 的實作每輪提出七個 token，再沿用既有快照回滾路徑驗證。草稿抽樣只套用請求的 temperature；top_k、top_p、min_p 與歷史懲罰則由目標模型在驗證階段處理，候選分布也會交給驗證流程。提案另讓 qwen3.5 系列目標模型接受 DFlash 草稿，並在載入權重前檢查設定維度。合併提案

效能測試使用 NVFP4 量化的 qwen3.8:27b，比較內建 MTP 與 DFlash2。在 M5 Max、M5 Pro、M2 Ultra，以及 2K、32K 兩種提示長度下，維護者回報生成速度倍率介於 1.14 至 1.25。例如 M5 Max 的 2K 測試由每秒 57.0 token 增至 71.0。測試開啟 thinking，temperature 為 1、top_p 為 0.95、top_k 為 20；兩種長度分別採用 16 與 12 次請求的中位數。測試結果

這些結果支持進一步評估，仍屬維護者提供的有限樣本。工程團隊接下來應以實際中文提示、長回答與不同抽樣設定，觀察接受長度、生成速度及額外記憶體成本，並等待穩定版。另須區分推論支援與訓練重現：Speculators 文件明言，公開 DFlash2 推論實作未公布訓練目標，其訓練方案仍屬實驗性質。訓練限制