LLM審判者がまず判定し、その後に検索または棄権――較正済みしきい値で誤判定率を制御

Dalhousie University、NYU Abu Dhabi、Emory Universityの研究者らは、reference-free LLM-as-a-judgeを3段階の意思決定方式として再構成した。審判者はまずパラメトリック知識だけで判定する。verdict tokenの予測エントロピーが第1しきい値を上回った場合にのみWebを検索し、上位3件の検索結果を取り込んで再判定する。2回目も不確実であれば棄権し、人間による処理に回す。これにより、すべての質問で一律に検索することを避けつつ、信頼度の低い判定を評価結果へ無理に組み込まずに済む。

重要なのは、confidence thresholdを手動で設定するのではなく、正解ラベルを持つ較正セット上で採用済み判定の誤り数を計算し、片側Clopper–Pearson区間からfalse discovery rate（FDR）の上限を求める点だ。システムは、上限がユーザー指定のαを超えないという制約の下で、採用カバレッジを最大化する2つのしきい値を探索する。著者らは、任意の固定されたしきい値の組み合わせについて、サンプルが独立同分布であれば、2段階ルーティング後の誤り指標もBernoulli変数とみなせるため、有限標本保証をそのまま適用できると証明した。しきい値探索に伴う多重比較については、Bonferroni補正後の結果も報告している。

実験では、TriviaQA、Natural Questions、HotpotQA、PopQAからそれぞれ2,000問を抽出し、Qwen3-8BまたはLlama-3.1-70Bで回答を生成したうえで、4B～14B／8Bの4モデルを審判者として使用した。100回の較正／テスト分割を行い、候補モデル、審判モデル、データセットの計32通りの設定を評価したところ、実測FDRはいずれもαを超えなかった。α=0.20の場合、Qwen3-14Bを審判者としてQwen3-8Bの回答を評価すると、HotpotQAでカバレッジは86%に達した一方、Qwen3-4Bでは14%にとどまった。TriviaQAでは、約45%の質問をQwen3-14Bが検索なしで直接判定できた。

この設計は、データクリーニング、オフライン評価、自動受け入れテストに適している。ただし、統計的保証は恒久的な安全証明ではない。問題の種類、検索品質、モデルバージョンにドリフトが生じた場合は、再較正が必要になる。実験における「正解」には、別のQwenモデルが意味的等価性を判定した設定も含まれており、すべてが人手でアノテーションされたわけではない。また、検索スニペットには古い情報やprompt injectionが含まれる可能性もある。エンジニアリングチームが次に注目すべき課題は、分布ドリフトの検知、信頼できる情報源のフィルタリング、そして棄権後に人間へ引き継ぐ場合の総コストである。