RRC、生成型報酬モデルのランキングをGRPOシグナルに変換し、AlpacaEval 2のスコアを35.8%から41.3%へ向上

生成型報酬モデルは、推論を行ったうえで2つの回答を比較できる一方、RLパイプラインでは単一の選好tokenの確率へ圧縮されることが多い。新たに提案されたRanking-based Reward Construction（RRC）は、これによってモデルの比較能力が不適切な絶対スコアのインターフェースに押し込められていると指摘する。Chain-of-Thoughtによって最終的なA／Bの確率が飽和する場合が多く、確信度も必ずしも回答品質と一致しない。研究で用いられたpointwise生成型報酬モデルでは、サンプルの88.3%が0〜0.1または0.9〜1.0に集中し、中間区間に位置するものはわずか11.7%だった。

RRCはGRPOに必要なスカラー出力を維持しつつ、その生成方法を変更する。Self-Competitive Rankingでは、同一プロンプトに対する複数のrolloutを相互比較し、勝利数に基づいて報酬を生成する。比較結果が「AがBに勝つ、BがCに勝つ、さらにCがAに勝つ」という循環を形成した場合は、重み付きグラフと近似Kemeny aggregationを用いて一貫した順位に整理する。Anchor-Guided Rankingでは、固定された参照ポリシーから少数のanchorを事前に生成し、各候補について何個のanchorを上回ったかだけを計算することで、総当たり比較を回避する。複数回のサンプリングによる多数決を用いれば、推論予算と引き換えに選好判定の安定性を高めることもできる。

著者らはLlama 3.1 8Bをポリシーモデルとして使用し、3Bおよび8Bの生成型報酬モデルと7,500件のRLデータを用いた。8B報酬モデルの確率ベースラインは、AlpacaEval 2、ArenaHardV2、MMLU-Reduxでそれぞれ35.8%、8.0%、52.9%を記録した。anchor rankingにvoting@8を組み合わせると、それぞれ41.3%、11.2%、56.9%に向上した。ほぼ同等の計算量を用いた確率aggregationも依然として下回っており、この改善が単なる推論回数の増加によるものではないことを裏付けている。

公開コードはMS-SWIFTのプラグインとしてGRPOに統合され、報酬モデルはOpenAI互換API経由で提供される。また、vLLMを複数ポートでデプロイする例も用意されている。ただし、エンジニアリング面ではコストへの注意が必要だ。ペアワイズ比較、投票、anchorはいずれも推論呼び出しを増加させる。リポジトリには現時点で初期コミットしかなく、著者らの実験で使用された報酬モデルの重みも含まれていない。READMEのcloneコマンドも依然としてプレースホルダー文字列のままだ。今後は、第三者による再現、より大規模なrolloutグループ、そしてランキングモデルのバイアスが長期学習においてポリシーによって増幅されるかどうかを検証する必要がある。