NVIDIA、調整可能なループで推論計算の深度を高めるDory 4Bのモデル重みを公開

NVIDIAは10月16日、Nemotron Labs Dory 1.0を公開した。この40億パラメーターの言語モデルは潜在循環アーキテクチャを採用しており、デプロイする側は共有層の実行回数を調整して、同じ重みで異なる計算予算を試せる。公式にはBF16、MXFP8、NVFP4、Q5_K_M形式が提供され、最大256Kトークンのコンテキストに対応するとされている。ライセンスはOpenMDW 1.1で、現在サポートされている言語は英語のみだ。公式モデルカード

Doryのネットワークは、入力ブロック8層、共有循環ブロック20層、出力ブロック8層で構成され、各ループで入力を再注入する。実装上の利点は、推論の深度を増やすために、より大きな別のチェックポイントを読み込む必要がないことだ。一方、トークンごとの計算量も増えるため、パラメーター数だけから速度やコストを推定することはできない。アーキテクチャの説明

公式のBF16評価では、SWE-bench Verifiedのスコアはループ回数が1回、2回、4回の場合にそれぞれ50.3、59.5、61.8だった。GPQA Diamondでは69.19、72.41、72.16となり、ループを増やしてもすべてのタスクで効果が続くわけではないことが示されている。NVIDIAは2回のループから始め、実際のワークロードで測定することを推奨している。これらの数値は公式評価環境で得られたもので、独立した再現結果とはみなせず、量子化版にそのまま当てはめるべきでもない。評価とデプロイ設定

キャッシュ戦略も重要なポイントだ。ループごとにKVを保存すると、ループ回数に応じてメモリ使用量が増える。last_loopモードでは同じキャッシュを上書きし、最後のループのキーと値だけを保持する。llama.cppの対応提案によると、この方式は予測結果を変える可能性があり、プロンプトのプリフィル時のチャンクサイズにも影響される。提案はまだドラフトで、長いコンテキストを使った完全な検証も終わっていない。llama.cppの対応提案

開発者は次に、ループ回数とキャッシュモードを変えながら、タスクの成功率、エンドツーエンドのレイテンシ、ピークメモリ使用量を比較するとよい。現在の公式インストールガイドでは、統合待ちのvLLMまたはllama.cppの変更を使用する必要がある。中国語への対応も別途検証が必要で、英語の評価結果から推定することはできない。デプロイガイド