SVR、2Bモデルに修訂の停止時点を自己判断させ、数学推論を平均2.99ラウンドで完了

テスト時の計算量を増やす手法では、通常、固定回数のサンプリングや修訂が用いられるため、簡単な問題でもtokenを浪費しやすい。一方、外部verifierに依存すると、モデル数、レイテンシ、運用・保守コストが増加する。Self-Verifying Refinement（SVR）は、同一モデルに問題の解答と停止制御の両方を担わせる手法だ。各ラウンドでは回答に加え、離散的なCorrect／Incorrect判定と信頼度スコアも出力する。モデルが回答を正しいと判定し、かつ信頼度がしきい値を超えた場合にのみ、システムは現在の回答を採用して停止する。それ以外の場合は、自己検証の結果を次の修訂ラウンドに渡す。

学習には固定長のtrajectoryとGRPOを使用する。報酬は、回答の正確性、正誤判定の信頼性、信頼度のキャリブレーション、さらにモデルが停止に適した正解状態へ到達できるかを同時に評価する。正解データは学習報酬の構築にのみ使用され、修訂用promptには含まれない。デプロイ時にもoracleや別のreward modelは不要だ。つまり、SVRが学習するのは単に「もう一度考える」ことだけではなく、計算を続けることで期待される利得が得られるタイミングも含まれる。

研究では、Qwen3.5-2Bを用いてAIME、AMC、MATH-500など7つの数学推論ベンチマークで評価した。SVRのmacro-average正解率は0.563で、1問あたりの実行回数は平均2.99ラウンドだった。論文は、標準的なGRPO、複数ラウンド修訂のベースライン、固定10ラウンド方式を上回りながら、ラウンド数を大幅に削減したと主張している。これはバッチ推論サービスにとって実用的だ。各リクエストが難易度に応じて異なる計算予算を消費でき、すべてのリクエストで最悪ケースのコストを一律に負担する必要がないためだ。

ただし、内部検証は無償で得られるground truthではない。モデルが誤答を高い信頼度で採用する可能性もあれば、正答を繰り返し否定する可能性もある。数学問題には検証可能な学習シグナルが存在するため、この結果をコード修正、オープンエンドな質問応答、agent操作へ直接一般化できるとは限らない。また、論文は現時点で再現可能なコードやweightsを公開していない。エンジニアリングチームは今後、out-of-distributionデータに対する信頼度しきい値の安定性、ラウンド数だけでなく実際のtoken使用量とレイテンシ、そして誤った停止判断を低コストの外部checkerで補強できるかに注目すべきだ。