64経路の自己整合性投票は、GPQAの難問の大半で問題単位の正解率をむしろ低下させる

自己整合性（self-consistency）は通常、モデルに複数の推論経路をサンプリングさせ、最多数の回答を出力とする。一般には、サンプリングを増やしても計算資源が無駄になるだけで、品質が低下することはないと考えられている。新たな研究は、この仮定を[大学院レベルの科学問題198問からなるGPQA Diamond](https://arxiv.org/abs/2608.11403)で検証した。Qwen2.5-7B-Instruct-TurboとMeta-Llama-3-8B-Instruct-Liteについて、各問題で64回サンプリングし、temperatureを0.7に設定した。

結果によると、1回のサンプリングと比較して、64経路の投票はQwenでは56.6%、Llamaでは65.7%の問題で期待正解率を低下させた。最も悪化した問題では、それぞれ47ポイント、46ポイント下落した。一方、集約正解率はそれでも0.342から0.369、0.273から0.313へ上昇した。少数の問題における大幅な改善が、多数の問題における小幅な悪化を相殺したため、総合スコアだけを報告すると「自己整合性は有効である」という、問題単位の結果とは逆の印象を与える。

研究チームはまず47問で探索を行い、その後、仮説と判定基準を[Git tagと完全な再現パイプライン](https://github.com/u7k4rs6/self-consistency-backfire)に固定し、残りの151問で確認した。正解を知るoracleが存在し、問題ごとに1、2、4、8、16、32、64回のサンプリングから最適な予算を選べる場合、正解率の上限はそれぞれ0.482と0.439に達する。ただし、これはデプロイ可能な手法ではない。著者らが検証した回答一致率gateとtoken entropy gateは、いずれも固定64回投票との正解率の差が0.002未満だった。

原因は、難問においてモデルが、もっともらしいものの誤っている同一の選択肢に安定して集中する可能性があるためだ。Qwenでは一致率が最も高い区間でも多数決回答の正解率は52.5%にとどまり、Llamaではわずか28.6%で、低一致率区間さえ下回った。この結果は、推論システムが「複数回の回答が一致すること」を信頼性のシグナルとして直接扱うべきではないことを示している。より有望な検証対象は、外部verifier、実行可能なチェック、または問題タイプごとに較正されたrouterである。制約として、実験は旧世代の7B／8B指示調整モデル2種と単一の多肢選択ベンチマークのみを対象としており、reasoning-nativeモデルやフロンティアモデルに一般化できるとはまだいえない。