TsuGO、推論テキストを探索木に復元　Gemini 3.1 Proのオープン形式・難問の正答率はわずか19%

長いchain-of-thoughtは通常、正答率やtoken当たりの効率で評価される。しかし、それだけではモデルが方向性を持って候補を検証しているのか、大量のテキストを生成した末に偶然正解へ到達したのかを区別できない。8月13日に公開されたTsuGOは、この問題を検証可能なadversarial searchとして再定式化した。モデルは囲碁の詰碁局面から鍵となる初手を見つけ、相手の最善の応手まで先読みしなければならない。

データプールには1,500問が含まれ、局面はSGF形式で保存されたうえで、座標、19×19行列、画像など5種類の表現に変換された。主要実験では、3段階の難易度からそれぞれ200問を抽出し、4つの候補点を提示するK=4モードと、候補を一切提示しないオープン探索を比較した。さらに、LLM extractorが自由形式の推論を候補探索、variation treeの読み取り、局面評価、backtrackingに分解し、process search treeを再構築する。人手で検証した300問では、抽出器と2名の専門家による対象構造の一致率は93～98%だった。

中核指標のSearchEは、誤った分岐に費やしたリソース、正しい候補へ初めて到達したタイミング、正しい候補を探索した順序を組み合わせたものだ。結果によると、Kimi-K2.5は簡単な問題において、K=4モードで正答率52.0%、SearchE 39.9だったが、オープンモードではそれぞれ27.8%と26.4まで低下した。Gemini 3.1 Proは簡単な4択問題では80%に達したものの、オープン形式の難問ではわずか19%だった。同じ200 visitsの予算では、KataGo-b18がオープン形式の難問でも43%を記録した。この結果は、言語モデルのボトルネックが単なる囲碁の実力ではなく、候補の生成と順位付け、有効な分岐の継続的な追跡にもあることを示している。

TsuGOは、inference-time search、tree-of-thought、verifierがリソース配分を本当に改善しているかを検証するのに適している。ただし、SearchEをモデル内部の思考の直接的な測定値と見なすことはできない。クローズドモデルが公開するのは圧縮されたreasoning summaryだけであり、KataGoは盤面状態を直接読み取るため、tokenやインターフェースの面で同等のベースラインではない。データと評価コードが完全に公開されるかどうかも、今後の再現性を左右する重要な要素となる。