NVIDIA 發布 Nemotron 3.5 Bolt，以混合精度壓縮 74B 模型供本機代理使用

NVIDIA 於 10 月 15 日發布 Nemotron 3.5 Bolt 74B-A9B 24GB，將大型視覺語言模型壓縮至本機代理的部署範圍，並公開量化權重、BF16 檢查點與推測解碼草稿模型。官方公告列出 llama.cpp、Ollama、LM Studio 與 vLLM 等支援路徑，讓開發者能測試本機工具呼叫與文件理解流程。官方公告

Bolt 由 120B、每 token 啟用 12B 參數的 Super VL 壓縮而來，保留 74B 總參數、每 token 啟用約 9B。Star Elastic 依記憶體預算搜尋各層專家數與中間維度，再透過後訓練恢復能力。量化採混合精度：主要專家權重使用每元素約 2.0625 bits 的 IQ2_XXS，Mamba 線性層使用 NVFP4，部分其他權重維持 Q8_0；因此「2-bit 模型」並不代表所有張量都採相同精度。技術說明

推論端搭配 LiLiCorr 草稿模型。NVIDIA 在 RTX Spark 上以 llama.cpp 測得 SPEED-Bench-Coding 約 84 tokens／秒，但同表的 Qwen3.6 與 Gemma 4 配置解碼更快；Bolt 的訴求是容量、品質與速度的折衷。這些仍是廠商測量，不能直接視為完整代理任務的完成速度。測試方法與結果

部署時尤其要拆解「24GB」的含義。模型卡標示最高 256K 上下文，但現行 llama.cpp 指南提供 28GB、65,536 tokens，以及 32GB、262,144 tokens 兩套配置，且都只開一條並行序列。這顯示名稱中的容量目標不能直接當作完整服務的記憶體保證；視覺輸入、快取及草稿模型也須納入預算。模型卡與部署指南

對中文團隊，下一步應以實際文件與工具流程驗證中文理解、參數生成正確率及長任務延遲。官方列出的主要語言是英文與程式語言，支援語言清單未列中文；現有公開結果不足以證明繁體中文代理品質。語言與用途說明