RISE、RLVRの更新方向からトークン単位の教師を合成――外部の大規模モデルによる蒸留は不要

9月4日に提出されたRISEの研究は、RLVRでは回答全体に対してのみ報酬が与えられるため、どのトークンが実際に有用だったのかを特定しにくいという信用割当問題の解決を目指している。この手法ではまず、GRPOなどの方策勾配法によって検証可能な報酬に基づく更新を1回行い、その後、更新後のcheckpointと過去のcheckpointまたはEMAアンカーとの差分を比較する。研究者らはこの変位に1より大きい係数を掛け、重み空間またはlogit空間で外挿して「将来方策」を作り、その完全なトークン分布を現在のモデルへ蒸留する。教師は各ラウンドで再生成されるため、外部のより強力なモデルや、正解を含む特権的コンテキストを必要としない。

2種類の実装ではコストが異なる。重み版では、外挿後のパラメータを実体化し、蒸留ステップで教師モデルのforward passを追加実行する必要がある。一方、logit版では、アンカーと更新後モデルの対数確率を幾何混合し、上位100トークンと残余確率をまとめたバケットをキャッシュする。どちらもRLVRですでに生成されたrolloutを再利用するため追加のサンプリングコストはないが、全体のウォールクロック時間は依然として純粋なRLVRの1.3～1.6倍となる。学習が収束に近づいた際に最適点を通り越すリスクを抑えるため、外挿係数は徐々に1まで減衰させる。

著者らは、1.7B～8BパラメータのQwenおよびOLMoモデルを用い、数学、STEM、コーディング、エージェントタスクで評価した。OLMo3-7BのAIME 2024における正解率は、GRPOの30.2%からlogit版の46.9%へ上昇した。Qwen2.5-3Bの重み版では、ALFWorldの成功率が75.0%から84.4%へ、WebShopの正解率が63.3%から74.2%へ向上した。3つのランダムシードを用いた数学実験でも改善は維持された。

ただし、「将来教師」は更新方向が正しいかどうかを自ら判断するわけではない。報酬関数に抜け穴があれば、外挿によって誤りが増幅される可能性がある。論文では、3つの方向によって学習軌跡の分散の約87%を説明できると報告しているが、ほかのモデルや長期学習、検証不可能なタスクでも線形性が保たれることを保証するには不十分だ。現時点の結果は、著者らが管理する中小規模モデルと既存ベンチマークによるものであり、今後は独立した再現実験、報酬ミススペシフィケーションに対するストレステスト、さらに総計算量を同等にそろえた、より強力なRLVRレシピとの比較が必要となる。