Q2D-Web、1億9,000万件の文書でエージェント型RAGを検証——補助クエリが検索の弱点に

Perplexityの研究チームは9月8日、既存の検索ベンチマークとエージェント型RAGの本番トラフィックとの隔たりを埋めることを目指す[Q2D-Web](https://arxiv.org/abs/2609.08887)を発表した。データは、個人情報を除去した9カ月分の実際のクエリから収集されており、主要な意図を言い換えたprimary queryが12,365件、背景情報の補完、言語の切り替え、エンティティーの追加調査のためにエージェントが生成したsupporting queryが57,356件含まれる。合計は69,721件で、10言語を網羅する。さらに研究者らは、各クエリの上位5,000件の検索結果を統合し、MinHash-LSHで重複を除去することで、約1億9,000万件の文書からなる候補コーパスを構築した。

評価の焦点は、最終的にユーザーへ表示される10件の結果ではなく、多段階検索パイプラインの第一段階にある。関連する根拠が上位1,000件に入らなければ、後段のrerankerや回答モデルがそれを利用する機会はない。このため、Q2D-WebはRecall@1000を主要指標とし、Recall@100とnDCG@10も報告する。relevance labelsとしては、引用ログ、本番環境のランキング、LLMによる判定を加えた統合集合の3種類を提供する。BM25、dense embedding、late-interaction方式からなる13種類の検索器の相対順位は、ラベルの由来による影響をほとんど受けなかった一方、言語、ドメイン、クエリタイプによって大きく変化した。

統合ラベルでは、pplx-embed-v1-4bがRecall@1000で最高値を記録し、Nemotron-3-Embed-8BはRecall@100とnDCG@10で首位となった。これは、「より多くの根拠を再現すること」と「根拠をより上位に順位付けすること」が同一の最適化目標ではないことを示している。すべてのニューラル検索器は、supporting queryにおいてprimary queryよりも明確に低い性能を示した。BM25は全体的な再現率が最も低かったものの、他のすべてのモデルが完全に見落とした固有の関連文書を最も多く発見した。RAGエンジニアリングの観点では、これはハイブリッド検索の有効性を裏付けるとともに、人間が作成した検索文だけでembeddingモデルを評価すべきではないことを示している。

4Bモデルを完全な条件で1回実行するには、約4,608 H200 GPU時間を要する。研究者らは複数の検索器によるreciprocal rank fusionを用いてコーパスの31.7%を選定し、完全なコーパスと同じシステム順位を維持した。しかし、Recall@1000は平均5.1ポイント押し上げられた。このサブセットは迅速なスクリーニングには適しているが、最終的な全量検証の代替にはならない。さらに、学習データへの混入を防ぐためデータは公開されておらず、オープンウェイトモデルの評価は[ホスト型リーダーボード](https://huggingface.co/spaces/perplexity-ai/q2d-web-leaderboard)を通じてのみ提供される。文書は先頭512 tokensのみがエンコードされ、ラベルも自社のランキングとLLM judgeによる判定を組み合わせたものであるため、外部チームが完全な監査やオフラインでの再現を行うことは依然として難しい。