VIGOR、報酬分散に応じてRLVRのrolloutを動的に配分――数学的推論の学習でサンプリング量を最大2.3分の1に削減

検証可能な報酬を用いる強化学習（RLVR）は、推論モデルを学習させる重要な手法となっている。しかし、一般的なGRPOでは、同じバッチ内の各問題に対して固定数の回答を生成し、グループ内の相対報酬から勾配を推定する。この構成では、「すべて正解」または「すべて不正解」となるサンプルに大量のtokenを費やしやすい。こうしたサンプルではグループ報酬の分散がほとんどなく、得られる学習シグナルも限られる。

カリフォルニア大学ロサンゼルス校の研究者らは、VIGOR（Variance-Guided Online Rollout Allocation）を提案した。まずバッチ内の全問題について少数のrolloutを生成し、その後、各問題のグループ報酬の分散を計算する。残りの予算は、サンプル数を均等に増やすのではなく、分散が最も大きく、モデルが依然として決定境界付近にある問題へ反復的に配分される。この処理は現在のバッチ内で完結するため、ステップをまたぐ過去の難易度推定を維持する必要がなく、大規模な候補プールを事前生成して結果を破棄する必要もない。

著者らはRLVRの勾配から、報酬分散と勾配の大きさの関係を導出し、分散がPareto分布に従うとの仮定の下で、固定配分に対する理論上の高速化を分析した。実験では、Qwen2.5-3Bで数学的推論を学習させ、Qwen3-8Bを用いてLiveCodeBench v6を評価した。VIGORは、所定の数学精度に到達するまでに必要なrollout数を最大2.3分の1に削減した。プログラミングタスクでは、GRPOの最終的なfull-pass rateに、1.49分の1のrollout数で到達し、平均テスト合格率も3.4ポイント向上した。結果は3つのランダムシードを用いて得られたが、「rolloutが少ない」ことが必ずしも同じ比率のエンドツーエンドの節約を意味するわけではない。反復的な配分、同期、可変長生成にもオーバーヘッドが生じるためだ。

エンジニアリングチームは次に、wall-clock時間、総生成token数、GPU利用率に加え、疎またはノイズを含む報酬でも安定性が維持されるかに注目すべきだ。現時点で論文には再現可能なコードリポジトリも付属していない。より大規模なモデル、非二値評価、厳密に検証できない代理タスクにおいても、分散が信頼できるサンプリング基準となるかは、まだ証明されていない。