MISA-T、KV滞留時間に基づく混合RL rolloutスケジューリングでStep3.7のスループットを53.3%向上

大規模モデルの強化学習によるpost-trainingでは、RLVR、RLHF、そしてツールを呼び出すマルチターンのagent trajectoryが、同一の非同期推論サービスに送られるようになっている。既存のprefix-aware routerは通常、最長の共通prefixをすでに保持するノードへリクエストを割り当てるが、限られたKVキャッシュに新規sessionをいくつ受け入れるかまでは制御していない。高並行時には、長時間滞留するagent trajectoryがほかのprefixを追い出し、prefillのやり直し、キュー待ち時間の増加、キャッシュevictionの頻発を招く可能性がある。

南京大学とStepFunのチームが提案したMISA-Tは、「どこに配置するか」と「いつ受け入れるか」を分離する。routing層はキャッシュ圧力に応じて新規sessionの上限を動的に調整し、RLVR、RLHF、agentタスクそれぞれのKV footprintに基づいて保護対象の容量を割り当てる。計算需要はtoken数だけでなく、KV block数と滞留時間の積でも評価される。agentが外部ツールの応答を待ち、モデルが一時的に計算を実行していない間も、占有コストとして計上される。既存sessionのcontinuationは優先的に維持され、新規workは保留したうえで再評価できる。

並行性パラメータをスイープして調整したvLLM Routerとの比較では、rollout-onlyテストにおいて、MISA-TはStep3.7とQwen3.6-35B-A3Bの完了サンプル率をそれぞれ53.3%と43.6%向上させ、prefix hit rateも97.8%と95.3%に維持した。Step3.7を用いた50 iterationのend-to-end trainingでは、rolloutスループットが35.6%向上し、平均iteration時間が22.8%短縮された。完了したworkload mixとtrainerの目標構成との乖離も4.14 percentage pointsから2.71 percentage pointsへ縮小し、タスクスコアは同程度だった。

この結果は、混合rolloutのボトルネックが必ずしも個々の推論処理にあるとは限らず、sessionが将来のKV容量に対して負う暗黙のコミットメントにある可能性を、エンジニアリングチームに示している。ただし、数値は2つのモデルと著者らのデプロイ環境から得られたものだ。MISA-Tでは、リクエストに信頼できるworkload classラベルを付与する必要があるほか、適時に取得されたキャッシュ状態のsnapshotにも依存する。snapshotの遅延やworkload分布の急変により、admission capが一時的に不正確になる可能性がある。また論文では、vLLM Routerへ直接統合できるコードはまだ提供されていない。今後は、公開実装、複数clusterでの再現性、さらにモデル更新や異なるツール遅延の条件下でも再チューニングなしで性能を維持できるかを検証する必要がある。