AI 安全
Perplexityの引用監査、関連する3サイトが21万件超のソフトウェアランキングページを生成していたと判明
研究者はSonarへの760回のクエリから7,534件の引用を収集し、ロングテールサイトがレコメンデーションシステムの検索証拠に大量に入り込んでいることを突き止めた。同一運営者が関与している疑いのある3サイトが占める引用は2.4%にすぎず、これらのページが実際に推薦結果を変えたことも研究では証明されていない。
9月2日に公開された引用監査では、Perplexityのsonarとsonar-proがテストされた。研究者は購入意図を伴うソフトウェアカテゴリーをあらかじめ380件設定し、各モデルに対してカテゴリーごとに1回ずつ、上位5製品と公式URLをJSON形式で返すよう求めた。760回の呼び出しはすべて解析可能で、2,055ドメインにまたがる7,534件の引用が生成された。
Trancoのトラフィックランキングと照合したところ、引用の59.8%はランキング10万位圏外のドメインから、23.4%は100万位圏外のドメインから取得されていた。これは必ずしも情報源の品質が低いことを意味しないが、「引用付き」であることが、証拠について権威性の審査を通過済みであることを意味するわけではない。より具体的な異常は、wifitalents.com、worldmetrics.org、gitnux.orgで確認された。3サイトには、自動生成されたbest <category> softwareページが合計215,128件掲載されており、テンプレート、ナビゲーション、相互引用、DNSインフラが酷似していた。さらに、うち2サイトはトップページで自らを「Facts & Grounding Page」と説明していた。
この3サイトによる引用は合計181件で、全体の2.4%にすぎない。したがって、これらがPerplexityの回答を支配していたとはいえない。また、2つのモデルも独立したサンプルではない。380カテゴリーのうち289カテゴリーで完全に同一の引用リストが返され、URL集合のJaccard類似度は0.898に達した。これは、両モデルが検索レイヤーを共有している可能性を示している。この研究では、情報源を除外した場合の反実仮想テストは実施されておらず、単一のプロンプトと1日分のスナップショットのみが使用された。
技術的なリスクは、検索拡張生成（RAG）システムが、大量の構造化された機械向けのページを複数の独立した証拠と誤認する可能性にある。PerplexityはすでにGovernment、Academic、Trustedなどの情報源ラベルを提供しているが、ラベルは個別の検証に代わるものではない。検索およびRAGのチームは、ドメインをまたぐ所有者のクラスタリング、テンプレート類似性の検出、情報源の多様性に関する制約、「引用内容が実際にその文を裏付けているか」の検証を導入すべきだ。先行するクロスプラットフォーム研究でも、4つの生成AI検索エンジンすべてがAI生成の疑いがあるコンテンツを引用することが確認されており、この問題が単一の製品に限られないことを示している。