Open-MOPD、マルチティーチャー蒸留のtoken予算を再配分し、能力統合率を35.6%から83.4%へ向上

マルチティーチャー型オンライン方策蒸留（M-OPD）では、学生モデル自身に回答を生成させたうえで、数学、コーディング、指示追従の各教師が、それぞれのドメインに属する学生tokenへ密な教師信号を与える。その目的は、複数のRLエキスパートの能力を、デプロイ可能な単一モデルへ統合することにある。Open-MOPDはSmolLM3-3B-Baseを用いて、完全にオープンな実験環境を構築した。まず複数ドメインを混合したSFTを行い、次に3つのRL教師を個別に訓練し、最後に既知のドメインラベルを使った完全なルーティングを実施することで、ルーターの誤りという要因を排除した。

ルーティングが完全に正しい場合でも、単純なM-OPDの6つの評価項目における総合スコアは28.05にとどまり、ドメイン別にデプロイするRouteOPDの31.55を下回った。混合SFTとRouteRLの差によって示される能力向上分に対し、回収できたのはわずか35.6%だった。問題は、出力が短い指示追従タスクに集中していた。この種のデータはプロンプトの20.3%を占める一方、生成する勾配tokenはわずか0.99%だった。損失がtoken単位で集約されるため、長い回答を生成する数学およびコーディングのタスクには、必然的により多くの更新予算が割り当てられる。さらに、ドメインごとに収束速度が異なることで報酬のスケールが徐々にドリフトし、同一のrolloutバッチを繰り返し使用すると、学生モデルの確率に依存する報酬が陳腐化する。

Open-MOPDは、これらに対応する3つの仕組みを導入した。token-share balancingは、各ドメインが占める勾配tokenの割合を直接制御する。gap-aware allocationは、その後の予算を、教師との能力差が依然として大きいドメインへ振り向ける。reward refreshは各勾配ステップの前に学生モデルのlog probabilityを再計算すると同時に、教師の状態をキャッシュして追加コストを抑える。完全版の手法は総合スコアを31.24まで引き上げ、能力向上分の回収率を83.4%へ高めた。これは、3つの学生モデルを維持する必要があるRouteOPDに迫る結果である。

この結果は、後学習を担うエンジニアに対し、プロンプト数の均衡が最適化シグナルの均衡を意味するわけではないことを示している。特に、タスク間で出力長が数十倍も異なる場合には重要だ。一方、本研究には、単一の3Bベースモデル、3つのドメイン、oracle routingのみを使用しているという制約があり、評価時のサンプリング回数もドメインごとに異なる。実際のデプロイに向けては、自動ルーティング、より大規模なMoEモデル、そして互いに重複する能力がさらに多い状況でも、この予算制御が安定性を維持できるかを検証する必要がある。