ParaTempo、時間的信頼度で推論ブランチを非同期に刈り込み、Qwen3.5のレイテンシを21.8%削減

複数のchain-of-thoughtを並列サンプリングすると推論の信頼性を高められるが、通常はすべてのパスに同じtoken予算が割り当てられる。そのため、一部のブランチがすでに収束していたり、振動し続けていたりしても、デコードは継続される。[ParaTempo論文](https://arxiv.org/abs/2608.16425)は、この問題をオンラインのリソース割り当てとして再定式化した。500 tokenを生成するたびに、現在のprefixの後ろへ直接回答を求めるsuffixを追加し、最大20件の回答候補とその確率を取得する。

システムは1回のtop-1信頼度だけで判断せず、直近7回のプローブで得た回答分布を平均し、その負のエントロピーを指数化して「時間的信頼度」を算出する。値が1に近いほど、直近の確率質量が同じ回答に継続して集中していることを示す。一方、分布が分散していれば、パスがまだ安定していないことを意味する。ウォームアップ段階では、現在の問題における信頼度分布に基づいて刈り込みの閾値を設定するため、異なるモデル間で固定閾値を共有する必要はない。

ウォームアップ後は、信頼度の低いブランチを削除する。同じ支配的回答に対して9回連続で0.9以上の確率を維持したブランチは早期終了するが、その回答は投票プールに残される。空いた実行slotでは、信頼度が最も高いアクティブなprefixから異なる乱数seedを用いて再分岐し、探索を継続する。グローバルな回答の重み付き票数が閾値に達すると、すべてのデコードを停止できる。プロセス全体で各パスが同じ深さに到達する必要がないため、総計算量と最も遅いパスの所要時間を同時に短縮できる。

著者らは、A100 80GB 1基、vLLM、16ブランチの構成でQwen3.5-35B-A3BとGPT-OSS-20Bをテストし、AIME 2026、2種類のHMMT、GPQAを評価した。Qwenの平均精度は71.1%で、固定self-consistencyの72.2%を下回った一方、レイテンシを21.8%、token数を30.3%削減した。また、同期型のParallel-Probeと比べて精度が3.9ポイント向上し、レイテンシが10.6%低下した。

[公開コード](https://github.com/ScottZhang812/ParaTempo)には、4つのデータセット向けrunnerとデフォルトパラメータが用意されている。ただし、結果は2モデル、回答形式が明確な推論問題、単一GPU環境に限られる。また、プローブを行うには、正規化可能な回答確率をモデルが出力できなければならない。エンジニアリング上の次の課題は、自由記述、tool calling、複数GPUでのcontinuous batchingにおいても、非同期制御が同等の効果をもたらすかを検証することだ。