NVIDIA、混合精度で74Bモデルを圧縮した「Nemotron 3.5 Bolt」を発表　ローカルエージェント向け

NVIDIAは10月15日、Nemotron 3.5 Bolt 74B-A9B 24GBを発表した。大規模な視覚言語モデルをローカルエージェントでデプロイできる規模に圧縮し、量子化済み重み、BF16チェックポイント、投機的デコード用ドラフトモデルを公開した。公式発表では、llama.cpp、Ollama、LM Studio、vLLMなどの対応経路を紹介しており、開発者はローカルでのツール呼び出しや文書理解のワークフローを試せる。公式発表

Boltは、120Bの総パラメータを持ち、トークンごとに12Bのパラメータを有効化するSuper VLを圧縮したモデルだ。総パラメータ数74Bを維持し、トークンごとの有効パラメータ数は約9Bとなっている。Star Elasticはメモリ予算に応じて各層の専門家数と中間次元を探索し、その後、ポストトレーニングで能力を回復させる。量子化には混合精度を採用している。主要な専門家重みには要素あたり約2.0625ビットのIQ2_XXSを使い、Mambaの線形層にはNVFP4を適用し、一部のその他の重みはQ8_0のまま維持する。そのため、「2ビットモデル」といっても、すべてのテンソルが同じ精度というわけではない。技術解説

推論時にはLiLiCorrドラフトモデルを組み合わせる。NVIDIAはRTX Spark上でllama.cppを使い、SPEED-Bench-Codingで約84 tokens／秒を測定した。ただし、同じ表ではQwen3.6とGemma 4の構成のほうがデコードは高速だった。Boltが狙うのは、容量、品質、速度のバランスだ。これらはあくまでメーカーによる測定値であり、エージェントのタスク全体の完了速度をそのまま示すものではない。測定方法と結果

デプロイ時には、「24GB」が何を意味するのかを特に確認する必要がある。モデルカードには最大256Kのコンテキスト長が記載されている一方、現行のllama.cppガイドでは、65,536 tokensで28GB、262,144 tokensで32GBという2種類の構成が示されており、どちらも並列シーケンスは1つに設定されている。名称にある容量目標だけでは、サービス全体に必要なメモリは保証されない。視覚入力、キャッシュ、ドラフトモデルもメモリ予算に含める必要がある。モデルカードとデプロイガイド

中国語圏のチームは次に、実際の文書とツールのワークフローを使って、中国語の理解、パラメータ生成の正確さ、長時間タスクのレイテンシを検証するとよい。公式資料が主な対応言語として挙げるのは英語とプログラミング言語で、対応言語の一覧に中国語は含まれていない。繁体字中国語でのエージェント品質を裏付ける公開結果は、現時点では不十分だ。言語と用途に関する説明