Exa Snapshot、過去のWebページ内容を固定してエージェント評価に活用、検索順位には現在のシグナルを使用

Exaは9月17日、指定日時以前に保存されたWebページのバージョンを使って、エージェントが検索やコンテンツ取得を行えるSnapshotのリサーチプレビューを発表した。対象とするのは、評価や強化学習におけるWeb経由の解答漏えいだ。問題が以前に作成されていても、後からWebにアクセスするエージェントは、すでに公開された解答を見つける可能性があり、検索による近道が評価スコアに混入してしまう。[公式発表](https://exa.ai/blog/exa-snapshot)

インターフェースは既存の`/search`と`/contents`を使う。前者では`snapshotAsOf`を`contents`内に、後者ではリクエストの最上位に指定する。サービスは、指定日時以前に保存された最新バージョンを選択する。条件を満たすバージョンが見つからないURLは省略され、コンテンツ取得のステータス欄には`CONTENT_NOT_CACHED`が返される。ページが取得できないことを、その当時に情報が存在しなかったことと直結させてはならない。[APIドキュメント](https://exa.ai/docs/search/snapshot)

ただし、日時の制約が適用されるのはコンテンツだけだ。Exaは現在の検索シグナルを使って候補URLを探し、その後、条件に合う過去のバージョンがないページを除外する。公式がGitHubで管理する連携ドキュメントでも、コンテンツの基準日時と検索順位は明確に区別されている。そのため、Snapshotは過去の証拠を提供できるものの、当時の検索エンジンがどのサイトを発見し、優先的に表示したかを完全に再現することはできない。[公式連携ドキュメント](https://github.com/exa-labs/agent-skills/blob/main/skills/build-with-exa/references/search.md)

利用できるデータの範囲も区別する必要がある。発表によると、基盤には20年間にわたる4,000億件超のWebページのスナップショットが含まれる。一方、一般公開の従量課金プランのドキュメントでは、検索可能な期間は直近5か月のローリングウィンドウ、リクエストは毎秒10回とされ、100回を超える場合は営業への問い合わせが必要だ。蓄積された過去のデータ量は、すべてのアカウントから直接検索できる範囲を意味するわけではない。[発表](https://exa.ai/blog/exa-snapshot)、[アクセス制限](https://exa.ai/docs/search/snapshot)

学習プラットフォームに組み込む際には、ツールのパラメータも調整する必要がある。Snapshotはリアルタイムのクロール、キャッシュの経過時間、サブページ展開のオプションを受け付けない。検索で対応するのは`auto`、`fast`、`instant`のみで、深い検索を行うモードや`category`には対応していない。既存の検索ツールのデフォルトパラメータをそのまま使うと、無効なリクエストとしてエラーが返される可能性がある。[互換性ルール](https://exa.ai/docs/search/snapshot)

評価設計の観点からは、コンテンツの基準日時を固定することで、後から行われたWebページの更新による汚染を減らせると考えられる。ただし、モデルの重みにすでに記憶されている解答、ほかのツールによるリアルタイム接続、現在の検索順位に起因する選択バイアスは、別途制御する必要がある。研究者は実際に返されたコンテンツとページの欠落率を保存し、言語やサイトごとに過去のデータのカバレッジを確認すべきだ。発表および上記のドキュメントには、漏えい全体の削減幅を定量化したベンチマークは示されていない。2回の実験を比較するには、クエリ、モデルのバージョン、ツールの実行経路も固定する必要があり、基準日時だけではエージェントの処理全体の再現性を保証できない。