RAG 與文件工程
READはエージェントによる構造化長文書の直接検索を可能にし、51問で正解率58.8%を達成。ただしBM25を有意には上回らず
READは、固定チャンク分割とベクトルTop-Kの代わりに、語彙検索、構造ナビゲーション、セクション読み取りを採用し、証拠取得の各工程を再現可能にする。780ページの財務報告書では密検索を大幅に上回ったが、標本が小さくコストも高いため、エージェント検索が従来の語彙インデックスより優れていると主張できるだけの証拠はない。
財務諸表や監査報告書など、表が密集した文書における従来型RAGの問題は、embeddingモデルの性能不足ではなく、オフラインでのチャンク分割が数字の文脈を先に壊してしまうことにあるのかもしれない。新たな研究では、インド・グジャラート州の[780ページに及ぶ財務報告書](https://cag.gov.in/uploads/state_accounts_report/account-report-FA-VOL-I-2024-25-069c52aa2b34bf9-63690940.pdf)を検証した。内容行の86.8%が表で、58,791個の数値tokenに含まれる異なる値は15,960個にすぎない。金額単位のヘッダーと数値行の距離の中央値は13行であり、lakhとcroreには100倍の差がある。
著者らが提案する[READ](https://arxiv.org/abs/2608.06305)は、ベクトルインデックスを構築せず、MCPを介して3種類の決定論的操作を公開する。すなわち、正規化された語彙検索、文書outlineのナビゲーション、行番号を指定した限定的な連続セクションの読み取りである。エージェントはまず列名を検索し、その後、読み取り範囲を上方向へ拡張して年度や単位のヘッダーを取り込める。各ツールへの入力、返された行番号、最終的な引用はすべて再現可能だ。この設計は[MCPツールインターフェース](https://modelcontextprotocol.io/specification/2025-06-18/server/tools)のschema化された呼び出し方式に準拠しているが、重要なのはプロトコル自体ではなく、ツールのセマンティクスである。
人手で検証された51問において、READの正解率は58.8%だった。同じエージェントがベクトルTop-Kツールを使用した場合は27.5%にとどまった。条件をそろえた固定dense RAGは15.7%で、検索深度を高めた場合の最高値も35.3%と、なお23.5ポイント下回った。この差は主に単一の数値検索で生じており、READが70.8%だったのに対し、dense retrievalはわずか12.5%だった。
ただし、この研究は「エージェント検索が全面的に優れている」ことを証明してはいない。BM25は51.0%を記録し、この小規模な標本ではREADとの差は有意ではなかった。一方、コストとレイテンシーはいずれもREADのおよそ3分の1にすぎない。また、READの完全な操作セットも、outlineを除いたバージョンを有意には上回らなかった。さらに、PDF変換によって小数点や表のセルが分断されることがあり、失われた情報はどのretrieverでも復元できない。エンジニアリングチームは、高コストなエージェントループが必要かどうかを判断する前に、BM25、構造認識型parsing、監査可能なセクション読み取りを比較すべきだ。