NVIDIA、Nemotron 3 Embedを発表、1BモデルのNVFP4チェックポイントも提供

NVIDIAは7月中旬、Nemotron 3 Embedシリーズを公開した。ラインアップには8B BF16、1B BF16、および約10億パラメータのNVFP4チェックポイントが含まれる。モデルは双方向Attention Maskを採用し、token表現を平均プーリングしてベクトル化する。最大32,768 tokenのテキスト入力にも対応する。NVIDIAはHugging Faceの重み、ファインチューニング用レシピ、NeMo Retriever NIMによるデプロイ支援も提供しており、モデルをセマンティック検索、RAG、リランキング前の候補取得、データマイニングのパイプラインへ直接組み込める。

NVFP4が重要なのは、埋め込みサービスが一般に高トラフィックかつ低レイテンシのワークロードだからだ。文書の取り込み、クエリ、再インデックスのたびにモデルが呼び出される可能性がある。重みを4-bitに圧縮することで、メモリ帯域幅の使用量とサービス提供コストを削減し、単一GPUでの同時実行数を増やせる。ただし、量子化後のベクトル幾何にわずかなずれが生じると、最近傍探索の境界付近でRecallに差が出る可能性がある。特に、多言語、短いクエリ、固有名詞、類似度が非常に高い文書では影響を受けやすい。ランキングの平均スコアだけでは、こうした失敗モードを十分に捉えられない。

導入時には、BF16とNVFP4について、Recall@k、nDCG、インデックス構築速度、バッチスループット、P99レイテンシ、実際のVRAM使用量を併せて比較し、ベクトル正規化とpoolingの設定を固定する必要がある。新しいembeddingではベクトル分布が変化するため、通常は旧インデックスと混在させることができず、アップグレード時に全面的な再計算が必要になる可能性がある。NVIDIAのドキュメントに記載されたハードウェアおよびNIMのサポートマトリクスからも、最適なNVFP4 kernelがすべてのGPUで同等に機能するわけではないことが分かる。異なるハードウェアへ展開する前に、より低速な実行パスへフォールバックしないか確認すべきだ。