RAG-Safety-Bench、検索品質の変動要因を切り分け、安全微調整が回答を含む文書に耐えられるとは限らないことを示す

オタワ大学の研究チームは、[RAG-Safety-Bench](https://arxiv.org/abs/2609.11758)を公開した。これは、デプロイ時に見過ごされがちな問題、すなわち基盤モデルが安全性テストに合格した後、企業文書やその他の知識ベースに接続してもガードレールが有効に機能し続けるのかを検証するものだ。実際のベクトル検索は行わず、固定された文書を直接与えることで、検索の再現率や品質によって生じる見かけ上の安全性向上を排除している。

このベンチマークでは、同一の有害な質問群を4つの条件に分けている。RAGをまったく使用しない条件、回答を含むoracle文書を取得する条件、同じトピックだが回答を含まない文書を取得する条件、安全だが無関係なランダム文書を取得する条件だ。完全版は987問で構成され、論文では主に各サブカテゴリー最大20問、計346問のバランス調整済みサブセットを分析している。危害カテゴリーには、暴力、詐欺、サイバー攻撃、武器、自傷などが含まれる。評価対象モデルはGemma 3 12B、Llama 3.1 8B、Ministral 3 8B、Qwen 2.5 7B、Phi-4 14Bである。

結果によると、oracle文書はすべてのモデルで、有害な質問に正しく回答する割合を高めた。たとえばMinistral 3 8Bは非RAG条件の26.0%から90.7%に、Qwen 2.5 7Bは15.9%から82.9%に上昇した。一方、同じトピックを扱うものの回答を含まない安全な文書によって安全性が悪化したのは一部のモデルだけだった。むしろ無関係な長文テキストが全般的に最も安全であり、問題を「コンテキストが長いほど危険」と単純化できないことを示している。エンジニアリングの観点では、入力文書の信頼レベルは生成後の安全性チェックの代わりにはならず、RAG評価では回答を含む文書、近接トピックの文書、対照文書を同時に扱う必要があることを意味する。

研究ではLlamaGuard、ShieldGemma、WildGuardの多数決で有害性を判定したが、4者間のFleiss’s kappaは0.56にとどまった。さらに重要な点として、[公開リポジトリ](https://github.com/The-Safe-AI-Lab/RAG-Safety-Bench)にはデータ、設定、ローカル評価プログラムが用意されているものの、モデルの生の応答、判定器の判定軌跡、論文で使用された非公開のv2再評価成果物はまだ公開されていない。また、商用モデルは評価されていない。そのため現時点では、特定製品が網羅的に比較済みだと主張する用途よりも、社内レッドチーミング用の評価マトリクスを設計するための基準として適している。