Prime Intellect、Nemotron 3 NanoのRLVR、LoRA、デプロイをマネージドトレーニングフローに統合

NVIDIAとPrime Intellectは7月23日、Nemotron 3 Nanoをエンドツーエンドでカスタマイズする事例を公開した。ベースライン評価、検証可能な報酬を用いる強化学習、LoRA成果物、推論デプロイを、単一のマネージドワークフローに統合している。開発者はPrime CLIでワークスペースを作成し、環境のバージョンを固定してからマネージドモデルを選択できるため、マルチGPUトレーニングクラスターを自ら構成する必要がない。

この事例では、NVIDIA-Nemotron-3-Nano-30B-A3B-BF16を使用する。総パラメータ数は300億で、各tokenにつき約35億パラメータをアクティブ化する。23層のMamba-2、23層のMoE、6層のattentionを組み合わせており、各MoE層は128のルーティングexpertと1つの共有expertを備え、6つのexpertをアクティブ化する。トレーニング環境では、モデルがPython、NumPy、SymPy、SciPyのいずれかを使って問題を解くことを求める。出力にはルールベースのgraderが二値報酬を与えるため、別の大規模モデルをjudgeとして使用する必要はない。

公式設定では100ステップを実行し、各問題につき8回サンプリングする。1バッチは合計32 rolloutで、learning rateは2e-5、各問題の解答は5 assistant turn以内に制限される。完了後、プラットフォームはダウンロード可能なLoRA adapterを生成するほか、元のモデルのマネージド推論endpointにadapterをアタッチすることもできる。NVIDIAによると、同じ32問のholdout問題における平均報酬は0.219から0.906へ上昇し、正解数は7問から29問に増えた。トレーニング費用は5ドル未満だった。

今回の発表の技術的な意義は、新しいモデルではなく、RLVRの実験ループを製品化した点にある。環境、モデルバージョン、rollout、報酬曲線、adapterをすべて追跡できる。ただし、32問だけでは一般的な数学能力の向上を実証するには不十分であり、フォーマット報酬は主に、ツールの乱用をやめて`boxed`形式の答えを出力するようモデルに学習させただけである可能性もある。導入前には、より大規模な未見のテストセットを追加し、元の能力が劣化していないかを確認するとともに、LoRA、教師ありファインチューニング、プロンプト修正のみという各手法の費用対効果を比較すべきだ。