同一モデルでもtoken上限によって順位が逆転、4モデルで56,476回の推論を実施

モデルのランキングは、一つの固定された推論設定を単一のスコアに集約することが多い。しかし、生成予算を増やしたとき、すべてのモデルの正解率が同じように向上するとは限らない。ブラジルのサンタカタリーナ連邦大学の研究者らは、Llama 3 8B、Qwen3 32B、Llama 3.3 70B、[gpt-oss-20b](https://huggingface.co/openai/gpt-oss-20b)を比較した。GSM8K、MATH-500、GPQA-Diamondで生成上限をそれぞれ64、128、256、512、1,024、2,048、4,096 tokenに設定し、temperature 0の決定論的推論を合計56,476回実行した。

[論文](https://arxiv.org/abs/2608.12150)によると、3つのベンチマークすべてで順位の逆転が確認された。GSM8Kでは、256-token時点でLlama 3.3 70Bが62.4%で首位に立ち、gpt-oss-20bは48.6%にとどまった。しかし4,096 tokenでは、後者が94.9%まで上昇し、Qwen3 32Bの91.7%を上回った。MATH-500では中程度の予算でLlama 3.3 70Bが首位だったが、4,096-tokenでの見かけ上の首位はgpt-oss-20bに変わった。ただし、この差は統計的に有意ではなかった。GPQA-Diamondは198問しかなく、最高順位も8Bモデルから70Bおよび20Bモデルへ移ったが、小標本での差を過度に解釈すべきではない。

変化の一部は、出力の打ち切りに起因する。Qwen3 32Bは4,096-tokenのGPQAテストでも、応答の59.7%が長さ上限により停止した。一方、Llama 3.3 70Bでは0.5%にすぎなかった。このため研究では、すべてのモデルが回答を完了した共通サブセットについても比較した。この問題群だけを見ると、MATH-500の4,096-tokenでの首位はgpt-oss-20bではなくQwen3 32Bになる。つまり、「限られた予算内で回答を完了すること」と「回答を完了したうえで正解すること」は、デプロイ時の異なる2つの指標である。

打ち切りだけでは、すべての結果を説明できない。打ち切られた軌跡を除外しても、各モデルおよびデータセットでは、予算を増やした際に正解から不正解へ転じた問題が依然として約3～19%あった。さらに、そのような問題の86～94%は単一のモデルでのみ発生していた。研究のXGBoostルーターは、問題文の特徴量とtoken予算をまとめて入力したが、ドメイン横断テストで埋められた理想的なoracleとのギャップは14.1%にすぎず、予算の効果を汎化することの難しさが示された。実務では、評価レポートで正解率、打ち切り率、コスト、レイテンシーの全曲線を公開すべきである。また、モデルゲートウェイの上限は、推論tokenを増やせば必ず改善するという前提ではなく、実際のワークロードでの検証に基づいて決定すべきだ。