返回首頁

GitHub Repo

Ollama 0.40.10 支援 Nemotron Bolt E4B,加入 DFlash 推測解碼

Ollama 於 10 月 23 日發布 0.40.10,加入 NVIDIA Nemotron 3.5 Bolt E4B 與配套 DFlash 草稿模型。新版提供本機代理模型的新選項,但 Ollama 套件與 NVIDIA 量化權重的容量、輸入能力標示不同,部署前須確認。

Mattruffoni · CC BY-SA 4.0 · Image source
zh-Hant

Ollama 於 10 月 23 日發布 0.40.10,主要更新是支援 NVIDIA 當天釋出的 Nemotron 3.5 Bolt E4B,並納入供推測解碼使用的 DFlash 草稿模型。開發者可用 ollama run nemotron-3.5-bolt:e4b 啟動;這是繼前一版語音功能後,另一項針對本機模型執行的更新。版本公告

Bolt E4B 由 Gemma 4 E4B 進一步後訓練而來,總參數約 80 億、有效參數約 40 億,目標包括多輪工具使用、指令遵循與裝置助理。NVIDIA 模型卡指出,訓練採用多環境 GRPO 強化學習,涵蓋工具操作、對話與結構化輸出;因此,值得觀察的是它能否在有限硬體上維持代理流程的連續性與輸出格式。NVIDIA 模型卡

DFlash 提供額外的草稿模型,讓推測解碼路徑先提出候選內容,再由主模型驗證。Ollama 模型頁將它列為加速生成的配套,並標示 E4B 支援 Windows、Linux 與 Apple Silicon。不過,版本公告沒有提供這些平台的可比較速度數據,實際收益仍應以自己的提示長度、工具回覆與硬體測量。Ollama 模型說明

部署時尤其要分清套件。Ollama 的 e4b 標籤目前列出約 7.2 至 7.9GB、128K 上下文及文字/圖片輸入;NVIDIA 的「4GB」Q4_K_M 模型卡則列為文字輸入輸出,輸入與輸出各最高 64K。這些標示不能直接互換,也不能把權重名稱視為整個服務的記憶體需求。Ollama 套件資料、量化模型卡

對中文代理應用而言,下一步應驗證繁體中文工具參數、長對話中的指令保留,以及開啟草稿模型後的延遲與記憶體變化。現有來源足以確認模型發布與執行支援,仍不足以推定它在中文工作負載上的品質或加速幅度。

來源

  1. Ollama v0.40.10 release
  2. Nemotron 3.5 Bolt 模型與 Ollama 執行說明
  3. NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 模型卡