One-Shot OPD、単一クエリで全データ蒸留の利得の大半を獲得——ボトルネックは教師シグナルの吸収速度へ

清華大学などの研究者らがOne-Shot OPDを公開し、大規模言語モデルのon-policy distillationに本当に多数の異なるプロンプトが必要なのかを検証した。OPDでは、学生モデルがまず自らrolloutを生成し、その後、凍結された教師モデルが、学生が実際に通過した各token状態に対して密な分布監督を提供する。したがって、「1つのクエリ」は1件の固定された訓練サンプルを意味しない。各ステップで64回の確率的rolloutが実行され、tokenごとのprefixがそれぞれ新たな監督対象の状態を形成する。

数学の設定では、単一クエリで300ステップ訓練した後、MATH-500、AMC 2023、AIME 2025にまたがる平均スコアは68.5となり、17,000クエリの全データを用いた場合は69.8だった。前者は完全なOPDによる利得の87%を獲得し、後者が到達した状態の71.5%をカバーした。同様の効果はコード生成、指示追従、エージェントによるツール利用でも確認され、教師と学生の性能差をそれぞれ73%、66%、64%縮小した。研究者らはさらに、BGE-M3による意味クラスタリングを用いて異なるクエリを選定した。各ドメインで16個のクエリを使用すると状態カバー率は98.9%に達し、複数教師によるOPDでは全データ訓練と同等の性能を示した。

論文は、このボトルネックを「データ過剰、アルゴリズム飢餓」と表現している。1個、4個、16個、または全クエリのいずれを使用した場合でも、各更新で解消される教師・学生間の残存分布ギャップの割合は、訓練の進行とともに低下した。最初の64本のtrajectoryを固定して再利用した場合でさえ、alignmentには数百ステップを要した。このことは、遅さの原因が新しい状態の出現を待つことだけではないと示している。ただし、これはタスクデータがもはや不要であることを意味しない。実験は特定の教師、モデルファミリー、評価手法に依存しており、OPDの能力上限も教師分布によって制約される。公開されたApache-2.0ライセンスのコードはveRLを基盤としており、参照構成の再現には80GBのH100またはA100を8基搭載した単一マシンが必要となる。また、データは公開ソースから再構築しなければならない。次の段階では、より大規模なモデル、異なる品質の教師、ならびにデータ削減後に既存のベンチマークでは捉えられない能力ギャップが生じるかどうかを検証する必要がある。