BPCO、単一ロールアウトでLLM criticを訓練し、GRPOの複数応答によるグループ内比較を代替

シンガポール国立大学の研究チームはBest-Practice Critic Optimization（BPCO）を提案し、近年のLLM強化学習がGRPOなどcriticを用いない手法に傾いている理由を改めて検討した。GRPOは同じプロンプトから複数の応答を生成し、グループ内の相対報酬によってadvantageを推定する。value modelを省ける一方、各プロンプトについて複数回のロールアウトが必要で、通常は同じ結果シグナルを応答全体に適用する。これに対してBPCOは、各応答prefixの期待returnを推定するcriticを訓練し、応答を1つサンプリングするだけでtoken単位のシグナルを構築できる。

[論文](https://arxiv.org/abs/2608.23566)は単一の新しい損失関数を提案するのではなく、互いに不整合を起こしやすい複数の設計を完全なレシピとしてまとめている。具体的には、DPPOによってサンプリングされたtokenの絶対確率の変化を制約し、スケーリングしたarctangentによってvalue predictionを既知の報酬範囲内に制限する。さらに、最終的に観測された結果を不偏なMonte Carlo critic targetとして使用し、収束に近づいた際に微小なノイズが再増幅されるのを防ぐためbatch advantage normalizationを廃止する。また、応答長に応じてGAEを調整し、終端報酬の減衰が短い系列と長い系列で異なる問題を軽減する。

criticは訓練時にのみ使用されるため、policyには与えられない正解、解答過程、評価rubricも入力できる。これにより、デプロイ時の入力を変更せずにvalue推定を支援できる。著者らはDeepScaleR 40.3K、DAPO-Math-17K、OpenRubricsの各データセットと、DeepSeek-R1-Distill-Qwen-1.5BおよびQwen3-30B-A3B系列のモデルで評価した。その結果、BPCOは一貫してcritic baselineを上回り、プロンプトごとに1つの応答だけを用いながら、複数応答をサンプリングするgroup baselineと同等以上の性能を示した。

チームは、verlをベースとする[訓練コードと実行スクリプト](https://github.com/QPHutu/golden_critic)も公開しており、数学、MoE、rubricの実験をカバーしている。ただし、「単一ロールアウト」が意味するのは生成trajectoryの削減にすぎない。critic自体は依然としてパラメータ、forward pass、activation、optimizer state、メモリ使用量を増加させるが、論文にはwall-clock時間、GPU時間、ピークメモリを含む包括的な比較が示されていない。

また、エビデンスは報酬範囲が既知である数学およびrubricタスクに集中している。少量データの状況では、privileged inputによってoverfittingが早まる可能性もある。今後とりわけ検証すべきなのは、エージェントによるツール使用、プログラミングタスク、ノイズを含む報酬または非有界報酬のもとでも、このレシピがGRPOより安定し、総コストを実際に削減できるかどうかだ。