u-OPSD、モデル内部の投票だけで学習し、Qwen3-8Bの数学5ベンチマーク平均を10.7ポイント向上

研究チームは、推論モデルのポストトレーニングに必要な正解、外部報酬、より強力な教師モデルを不要にすることを目指し、教師なしオンポリシー自己蒸留手法「u-OPSD」を提案した。この手法では、ラベルのない各問題について8本の軌跡をサンプリングし、その最終回答を解析する。少なくとも半数が同じ回答を支持した場合、合意した軌跡のうち最短のものを疑似解答として選択する。同一だが勾配を停止したモデルは、この疑似解答を受け取ると、回答が異なる軌跡のprefix上で全語彙分布を生成し、forward KLを用いてtoken単位のシグナルを学生モデルへ蒸留する。これにより学習は、モデルがすでに安定した傾向を持ちながらも、なお互いに矛盾する回答を生成する問題に集中する。

著者らはOpenThoughtsの3万問を使用したが、読み込んだのは問題文のみで、LoRAを用いてQwen3を学習した。非思考モードでは、Qwen3-4BのAIME 2024/2025、HMMT 2025、MATH500、AMC 2023における平均スコアが40.96から49.49へ上昇し、8Bでは43.57から54.31へ向上した。両モデルは、正解を使用するOPSDをそれぞれ3.2ポイント、2.3ポイント上回った。一方、思考モードでの優位性は大幅に縮小し、8Bの77.99はOPSDの77.97とほぼ同等だった。実験では、学生モデルが実際にサンプリングしたtokenだけを比較すると大量のシグナルが失われることも示された。top-100または全語彙分布のほうが効果的だが、推論と学習のコストは高くなる。

この結果は、エンジニアリングチームが、回答形式の定まった大規模なラベルなし問題集を用いて、検証器を先に構築することなくポストトレーニングを拡張できる可能性を示している。ただし、これはまだ汎用的な「モデルが自力で賢くなる」レシピではない。実験対象はQwen3と競技数学に限られ、抽出および正規化が可能な短い回答に依存している。抜き取り調査では疑似ラベルの13.3%に誤りがあり、著者らはすべての設定について複数のランダムシードによる誤差をまだ提示していない。今後は、自由回答型タスクで信頼できるソフトコンセンサスを構築できるか、また自己蒸留を繰り返すことでモデル既存のバイアスが増幅されないかを検証する必要がある。