DASH、推論軌跡に応じて蒸留重みを動的に配分——Qwen3の3モデル規模すべてで固定重みベースラインを上回る

8月6日に公開されたDASHは、on-policy self-distillation（OPSD）における時間構造上の問題の解消を目指す。この種の手法では、まず学生が推論軌跡を生成し、次に参照解答などの特権情報を利用できる教師が、学生が実際にたどった各prefixに対してtoken分布を提供する。しかし標準的なOPSDは、各位置のKL差異をほぼ固定された係数で集約するため、「局所的な偏差は同じでも、その後に異なる結果へ至る」ケースを区別できない。

DASHはまず、各語彙項目における局所的なforward KLの寄与をクリッピングし、その位置のシグナルと系列全体の平均値との差を比較する。この差をsigmoidによって勾配停止された伝播gateへ変換し、後方から前方への再帰的集約を通じて、後続の差異がどの程度のsupervision horizonにわたって現在の重みに影響すべきかを決定する。平均を下回る局所差異ではhorizonが長くなり、平均を上回る場合は伝播距離が短くなる。教師と学生の分布はもともとOPSDで必要な出力であるため、著者らによれば追加のmodel forward passは不要で、step timeの増加は1%未満だという。

研究ではQwen3-1.7B、4B、8Bを使用し、AIME 2024、AIME 2025、HMMT 2025でAvg@12評価を実施した。同一条件で再実行した標準OPSDと比較すると、DASHの3ベンチマーク平均スコアは、それぞれ41.87から45.07、63.60から65.00、64.80から66.40へ向上し、9つの「モデル規模×ベンチマーク」の組み合わせすべてで上回った。リポジトリでは、完全な訓練・評価コード、3種類のLoRA adapter、固定されたパッケージバージョン、ハードウェア構成を公開している。報告された主要な訓練では、最大8基のA800 80GB GPUが使用された。

エンジニアリング上の意義は、高密度な蒸留シグナルを単なるtoken単位の模倣に限定せず、低コストで軌跡の履歴も取り込める点にある。ただし、現時点の結果は数学的推論、Qwen3、単一の主要訓練seedに限られている。READMEでは、vLLMによるサンプリングとbf16 reductionがbitwise deterministicではないことも明記されている。今後は、複数seedでの再現性、コーディングエージェントやツールエージェントへの有効性、さらにprivileged referenceが不完全または誤っている場合に、経路依存の重み付けが教師のバイアスを増幅しないかを検証する必要がある。