ThinkRetrieve、推論途中で解法例を検索し、Qwen3‑1.7BのAIME 2025精度を13.4ポイント向上

研究チームは8月11日、[ThinkRetrieve](https://arxiv.org/abs/2608.10928)を発表し、「モデルにより長く考えさせる」という一般的な失敗パターンの解消を試みた。逐次型のTest-Time Scalingでは通常、モデルが一連の思考を終えた後に「もう一度考えて」といったプロンプトを加える。しかし、推論トレースが長くなるにつれ、誤った仮定が繰り返し増幅される可能性がある。ThinkRetrieveは代わりに、各 `</think>` 境界でモデルに暫定回答を生成させ、元の問題と暫定回答をベクトルにエンコードする。そのうえで、解法データベースから最も類似する問題と段階的な解答を検索し、次の推論セグメントへ挿入する。

実験では、E5‑Large、FAISS、およびフィルタリング済みのNuminaMath約30万9,600件を用いて検索レイヤーを構成し、DeepSeek‑R1‑Distill‑Qwen‑1.5Bと、1.7B～8BのQwen3／Qwen3.5モデル4種を評価した。すべての例文は同一の22,528 token予算に算入されているため、改善は追加のコンテキスト枠によるものではない。Qwen3‑1.7BのAIME 2025における最高精度は、逐次型Scalingの22.2%から35.6%へ上昇した。DeepSeek 1.5Bは、GSM‑8Kで長い予算を使用するとベースラインが83%から52%へ低下した一方、ThinkRetrieveでは約84%を維持した。著者は以前、[メリーランド大学の博士論文審査発表の概要](https://talks.cs.umd.edu/talks/4595)でも、長い推論における収益逓減と、この手法の方向性を明らかにしていた。

重要な違いは、「何を知っているか」を補足するだけでなく、「どう解くか」を検索する点にある。これにより、外部メモリが推論の制御信号として機能するため、ローカルの小規模モデルや重みを固定したデプロイメントでは特に魅力的だ。エンジニアリング面でも、検索器、例題データベース、モデルを個別に更新できる。

制約も同様に明確だ。主な結果は数学と多肢選択問題に集中しており、解法データベースの品質、カバレッジ、ライセンスが、デプロイ可能な領域を直接制限する。類似問題から解法が漏洩する可能性もある。著者は完全一致とコサイン類似度0.90の閾値を用いて汚染を除去したものの、保持されたデータの最大類似度は依然として0.898に達した。今後は、プログラミングやオープンエンドな研究タスクでも効果が維持されるか、また複数回のベクトル検索と長いプロンプトが実サービスにもたらすレイテンシとコストを検証する必要がある。