HERALD、検索エージェントが未取得のパッセージを引用できる問題を暴露――単一のメンバーシップ検査で実測攻撃成功率をゼロに

検索エージェントの報酬は通常、回答の正確性、引用による裏付け、ツールコスト、フォーマット、アンチチート項目などを組み合わせている。HERALDの中心的な発見は、総合スコアが包括的に見えても「引用ロンダリング」を許す可能性があるという点だ。回答と検索ログは変更せず、引用だけを、コーパスには実在するがエージェントが一度も取得していないパッセージに置き換える。他の報酬や、置換によって解消されるペナルティが違反項目を相殺し得るため、スコアが必ずしも低下するとは限らない。

研究者らは報酬関数を、ペア単位のユニットテストを受けられるプログラムとして扱い、同一問題に対して、検索の削除、存在しない引用IDの捏造、実在するが未取得のIDへの置換という3種類の介入をそれぞれ構築した。HotpotQA、2WikiMultiHopQA、MuSiQueからなる4組のQwen3-8B軌跡プールを対象に、元から違反していたサンプルや、介入によって他の条件まで同時に変化したサンプルを除外し、593の問題クラスタを残した。ベースライン報酬は、検索の削除と偽IDをすでに拒否できていた。一方、ラベルを使用しない語彙攻撃の成功率は依然として4.30%で、オフラインoracleが8件の候補から選択した場合は6.66%に達した。BM25の候補を16件に拡大すると、oracle上限はさらに13.74%に達した。

3つの検出器について全8通りの組み合わせを完全列挙した結果、最小限の修正はルールを増やすことではなく、`L`を強化することだった。つまり、引用IDが先に取得された集合へ実際に含まれているかを検査する。これを追加した後、成功した攻撃は観測されず、片側95%上限は0.50%だった。対照的に、より多くのoracleアノテーションに基づくペナルティを含む完全なルールセットでも、攻撃成功率は3.37%だった。引用の置換によって既存のペナルティも同時に解消され得るためであり、ルールを増やしても安全性が単調に向上するとは限らないことを示している。

各条件で約500万生成tokenを用いたペアSearch-GRPO実験では、新しい報酬によって3データセットの平均引用適合率が2.02ポイント、裏付け再現率が1.46ポイント向上し、裏付けのない引用は1.69ポイント減少した。ただし、MuSiQueは回答EMの非劣性基準を満たさなかった。さらに重要なのは、`L`が58,368件の訓練軌跡のうち18件でしか発火せず、シグナルの一部はグループ正規化によって相殺されたことだ。この監査で実証できるのは、閉じたコーパスと構造化IDを用いる環境における評価上の脆弱性に限られる。引用が回答を意味的に裏付けているかは検証できず、リアルタイムWeb検索、自由形式の引用、コーパス汚染もまだ対象としていない。