模型訓練與推論效率
3段階セルフルーティングにより、1.5B推論モデルがMATH-500で出力tokenを41%削減
新たな研究では、NoThink、Short、Longをモデルが生成する最初のtokenとし、別途ルーターを設けることなく、問題ごとに推論予算を割り当てる。MATH-500ではベースモデルに近い精度を維持しつつ、より簡単なGSM8Kではtokenを76%削減した。
研究チームは、[DeepSeek-R1-Distill-Qwen-1.5B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B)に3段階のセルフルーティングを追加した。モデルは問題を受け取ると、まず`NoThink`、`Short`、`Long`のいずれかを生成し、その後、モードに応じて最大1,024、3,000、または固定上限なしの出力予算を使用する。この選択は主モデルとともにGRPOで更新され、独立した分類器は用いない。方策が急速に単一モードへ崩壊するのを防ぐため、学習には強制探索のウォームアップ、モード比率のバランス項、さらに長さ区間ごとに異なる報酬曲線も導入した。
[論文](https://arxiv.org/abs/2608.20256)ではMATH-lightEvalを使って学習し、4基のH100で90回の更新ステップを実行し、3つのランダムシードで反復した。MATH-500では、セルフルーティングモデルの精度は0.782で、未学習ベースラインの0.796をわずかに下回った。一方、平均出力は4,743 tokenから2,810 tokenへ減少し、41%削減された。[GSM8K](https://github.com/openai/grade-school-math)へのゼロショット転移では、平均長が1,930 tokenから459 tokenへ減少し、精度は0.831から0.781へ低下した。より難しいAIME 2024／2025では、モデルはほとんどの場合Longを選択し、tokenの削減率は約13%にとどまった。これは、効果の主な要因が問題解決能力の上限を引き上げることではなく、長時間の思考に値しない問題を識別することにあると示している。
エンジニアリング上の要点は、推論予算そのものを方策の離散的なactionとして扱えるため、難易度予測器を先に一度実行することによる追加レイテンシを省ける点だ。ただし、現時点のエビデンスは単一の1.5Bモデルと数学タスクに限られ、各モードの上限も当該データの長さ分布に合わせて設定されている。また論文は、上限を適用しない検証方法によって、短いモードの精度が過大評価されている可能性も認めている。次のステップでは、コード生成やツールエージェントなど、必要な出力長がより不規則なタスクでも同等のルーティング安定性を維持できるか、また実際のGPUレイテンシとスループットがtoken削減率に応じて改善するかを検証する必要がある。