CoBa、推論計算資源を動的に配分し、加重tokenを58.9%削減しながらBest-of-16に匹敵

推論モデルにおけるテスト時計算には通常、思考時間を延ばす、一度により多くの回答を生成する、別のモデルに各回答を採点させる、といった数種類の固定的な手法しかない。CoBaはこの3つを単一の予算配分問題として再定式化し、ルーターが各ステップで、サンプリングの継続、軽量または強力な検証器の使用、あるいは即時停止のいずれかを選択できるようにする。

その処理ではまず、Qwen3-14B、Phi-4-reasoning、またはQwen3-8Bが2つの候補を生成し、回答の一致度とQwen3-8Bによる評価に基づいて安定性を判定する。不確実な場合は候補を最大8つまで増やし、ランキング上位4つをQwen3-14Bによる詳細な検証にかける。最終スコアには、回答の出現頻度、軽量な判定、利用可能なプロセススコア、強力な検証の結果が統合される。また研究では、「モデルのパラメータ数（10億単位）×入出力token数」をコストとして計算し、異なるモデルが同じtoken数を処理する際の計算量の差を近似している。

MATH-500、AIME 2024／2025、AMC 2023、Reasoning Gymの難問サブセットからなる1,043問、3,129件の問題—生成器の組み合わせにおいて、CoBa-Routed-Strongはマクロ平均正解率85.13%を達成した。これはBest-of-16の多数決による85.12%とほぼ同等でありながら、加重token数を58.9%削減した。自己評価加重投票の85.20%と比べても、コストは49.1%少なかった。AIME 2024では単一サンプルの65.6%から82.2%へ向上したが、AIME 2025では依然として候補プールのoracle上限である91.36%との間に大きな差がある。これは、一部の誤りがルーティングの選択ミスではなく、正解自体がそもそも生成されていないことに起因することを示している。

主な制約は、すべての手法が事前生成された16候補のプール上でオフラインリプレイされている点にある。論文では一部の最近の手法をプロキシ版として実装しており、完全なコードベースも公開されていない。パラメータ数で加重したtoken数は、実際のGPU実行時間や費用を表すものではなく、特に異なるアーキテクチャ間の比較としては粗い指標である。エンジニアリング上の次の課題は、オンラインで段階的に生成する際にも、ルーティングのオーバーヘッド、バッチ効率、テールレイテンシを考慮したうえで、この正解率—コスト曲線を維持できるかを検証することである。