TTPO、多数決で正負の軌跡を振り分け、正解のないテスト問題でモデルをリアルタイム更新

浙江大学とAlibabaの研究チームは、正解ラベルのないテスト段階で、モデル自身が生成した複数の問題解決軌跡を直接利用してポリシーを更新する Test-Time Policy Optimization（TTPO）を提案した。一般的な自己訓練では、多数決の結果を擬似ラベルとして扱う。しかし、難問で多数派の回答自体が誤っている場合、蒸留によって誤りが推論チェーン全体へ拡散してしまう。TTPO の中核となる着眼点は、シグナルが非対称であることだ。多数決が誤っていたとしても、それと異なる軌跡も通常は正解ではないため、比較的信頼できる負のシグナルとして引き続き利用できる。

各問題について、まず K 本の軌跡をサンプリングし、最終回答に基づいてクラスタリングする。最大グループと一致する軌跡は on-policy self-distillation ブランチに送られ、forward KL によって token ごとのシグナルを伝達するとともに、すでに収束した位置の重みを下げる。一方、不一致の軌跡は grouped RL ブランチに送られ、モデルが高い確信度を示した誤った token のみを罰することで、局所的には妥当なステップまで消去することを避ける。ここで多数決はルーティングだけを担い、真の正解であるとは仮定されない。

著者らは AIME25／26、HMMT25／26、BRUMO25 において、ラベルなし TTPO の Avg@12 が Qwen3 1.7B、4B、8B でそれぞれ 40.1、58.6、62.6 に達し、正解による監督を用いる OPSD と同等か、わずかに上回ったと報告している。純粋な test-time training では、1.7B モデルの3つのテストにおけるスコアが 38.0 から 45.2 に向上した。4B の 61.1 も、更新していない 8B の 60.7 をわずかに上回った。コードには LoRA、vLLM、および4基の GPU を使用するスクリプトが用意されている。

制約として、評価には Avg@12 が採用されており、追加の rollout と更新にかかるコストを単一回の推論と直接比較することはできない。また、テスト問題そのものを使った訓練はトランスダクティブ適応にあたり、まったく新しい分布に直面した場合にも同等の効果が得られることを意味しない。コンテスト間の転移は初期的な証拠を示しているものの、現時点のタスクは短い回答を抽出できる数学問題に集中している。エンジニアリングチームは、誤ったコンセンサスがオープンエンドなタスクで蓄積する可能性に加え、オンライン更新のロールバック、分離、コスト管理について、さらに検証する必要がある。