模型訓練
ReflectRL、専門家の誤答軌跡を訓練シグナルに変換――GRPOのクロスドメイン評価で平均19.1ポイント向上
ReflectRLは、強力なモデルが誤答した推論軌跡を破棄せず、学生モデルに局所的な誤りを特定させたうえで、そのヒントを段階的に取り除く。研究では9つのベンチマークで安定した性能向上が報告されているが、成果は主に数学的推論の設定で得られたもので、プロジェクトに記載されたGitHubリンクも現在アクセスできない。
大規模言語モデルのon-policy事後訓練では通常、専門家モデルが正答した「ゴールデン軌跡」だけを保持する。難問に対して専門家が誤答すると、その推論全体が負例として破棄されることが多い。ReflectRLは、こうした軌跡にも長い正しいプレフィックスが含まれ、誤りは通常、少数のステップに集中していると主張する。そのため学生モデルにとっては、既存の推論から誤りを特定して修正する方が、ゼロから問題を解くより容易な可能性がある。
システムはこの種のデータをGolden Negative Trajectories（GNT）と呼ぶ。RLVRの設定では、各rolloutグループに、直接回答する入力と「誤った軌跡を読んでから振り返る」入力の両方を含める。既存の検証器とGRPO、DAPOなどの目的関数をそのまま使用し、追加のlossは導入しない。訓練中はコサインスケジュールによって振り返りサンプルの比率を段階的に下げ、最終的には直接回答だけを残すことで、推論時に外部の専門家軌跡へ依存するのを防ぐ。on-policy distillationに使用する場合、GNTは教師側にのみ提供され、学生は引き続き元の問題からtokenを生成する。
研究チームは、専門家モデルの失敗軌跡6.9万件を収録したOpenR1-GNT-69kを公開し、4種類のモデルバックボーン、4種類の訓練手法、9つのベンチマークで評価した。Qwen2.5-Math-7Bを例にすると、GRPOにReflectRLを組み込むことで、6つの同分布テストの平均スコアは37.0から42.4へ上昇した。ARC-c、GPQA、MMLU-Proにおけるクロスドメイン平均は20.9から40.0へ向上した。DAPOおよび3B学生モデルを用いたOPD実験でも性能向上が確認された。
エンジニアリング面で注目すべき点は、この手法が変更するのはrolloutの構成であり、推論インターフェースではないことだ。既存のRLVRパイプラインに組み込める可能性がある。ただし、数値はいずれも著者による自己報告であり、主要な訓練領域は依然として自動検証が可能な数学問題である。クロスドメインでの大幅な向上が、真に転移可能な推論能力によるものなのか、データの重複やベンチマークの特性によるものなのかは、独立した再現実験で確認する必要がある。論文に記載されたGitHubプロジェクトは現在404を返している。Hugging Faceには重みとデータセットのページがあるものの、完全な訓練コードによる再現性はまだ確認されていない。