DASH、推論の分岐に応じて蒸留重みを動的配分、Qwen3-1.7Bの数学平均スコアが3.2ポイント向上

検証可能な報酬を用いる強化学習では通常、回答が完了してから成否シグナルのみが与えられる。一方、on-policy self-distillation（OPSD）では、生徒モデルに推論軌跡を生成させた後、同じモデルが参照解答を追加で取得して教師として振る舞い、生徒が実際にたどった各prefixについてtokenレベルの分布を提供する。問題は、標準的なOPSDが各位置のKL divergenceを等しい重みで平均し、分岐が拡大しているのか、収束しているのか、あるいは一時的に変動しているだけなのかを区別しない点にある。

[DASH論文](https://arxiv.org/abs/2608.06243)では、各位置の分岐をそのsequenceの平均値と比較し、sigmoidを通じてpropagation gateへ変換したうえで、sequence末尾から前方へ再帰的に集約する。平均を下回る分岐では、より長い監督範囲が有効になり、分岐が大きい位置では伝播が短縮される。gateにはstop-gradientが適用されるため、既存の蒸留勾配を再配分するだけで、教師または生徒のforward passが追加されることはない。[公開実装](https://github.com/DBtxy/DASH-OPSD)によれば、追加のstep timeは1%未満で、Qwen3-1.7B、4B、8B向けのLoRA adapterも提供されている。

チームはAIME 2024、AIME 2025、HMMT 2025においてAvg@12で評価した。独自に再実行したOPSDと比較すると、3ベンチマークのmacro averageは、それぞれ41.87から45.07、63.60から65.00、64.80から66.40へ上昇した。9つのモデル—ベンチマークの組み合わせすべてでスコアが向上している。エンジニアリング上の魅力は、完全な教師語彙分布をすでに計算しているOPSD pipelineに重ねて適用でき、追加の推論を必要としない点にある。ただし、この前提となる処理自体は依然としてかなり高コストだ。

結果には明確な限界もある。実験対象はQwen3と数学問題に限られている。各手法は200 steps訓練され、独立したvalidation setではなく、報告対象となる3つのベンチマークの平均スコアを直接用いて最良のcheckpointが選定された。今後は、訓練終了時点を固定した場合や、コード生成またはagentの長い軌跡でも効果が維持されるか、さらに動的重み付けによって、誤った参照解答に基づく教師のバイアスが増幅されないかを検証する必要がある。