5つのオープンウェイトモデルの自己申告信頼度はほぼ一定、低信頼度優先の監査はランダム抽出と同等の可能性

1人の監督者が数十のエージェントを同時に管理する場合、「最も自信のない」出力から確認するのが一般的だ。しかし、[この研究](https://arxiv.org/abs/2607.28317)によると、その信頼度がエージェント自身の申告に基づく場合、このランキングには情報価値がなく、ランダム抽出より悪くなる可能性すらある。研究者らは、エージェントに共通する失敗と同一ファミリー内の相関を2層のGaussian copulaで表現し、誤答が正答の高信頼度分布を模倣する割合をδで示したうえで、信頼度ランキング戦略の優劣が逆転する臨界値δ*を算出した。

20または100のエージェントを対象とし、各ラウンドで出力の2%〜20%しか検証できないシミュレーションでは、監査率が下がるにつれてδ*は逆に上昇した。B/Nが0.02、0.05、0.1、0.2の場合、臨界値はそれぞれ0.93、0.89、0.84、0.75だった。これは、予算が極端に少ない場合、信頼度分布の最も端にある出力しか抽出されず、中程度の汚染が最初に損なうのは、より余裕のある予算で対象となる中間順位だからだ。研究ではさらに、1回の監査結果を使って、相関する失敗パターンを持つ他のエージェントの事後リスクを更新するdiversity-Bayesを提案した。相関係数ρが0から0.8に上昇すると、ランダム戦略に対する残余リスク上の優位性は0.34単位から3.47単位に増加した。

実証試験では、Qwen3 0.6B、4B、8B、Mistral-7B-Instruct-v0.3、Phi-4-mini-instruct、gpt-4o-miniに、固定プロンプトを用いてGSM8KとHotpotQAから各500問を回答させ、0〜100の信頼度を申告させた。5つのオープンウェイトモデルは、正誤にかかわらずほぼ常に満点の信頼度を申告し、ECEは0.43〜0.94、AUROCはわずか0.50〜0.52だった。このうち4モデルは、監査予算10%での点推定値が逆転ラインを超えたが、信頼区間は依然として臨界値をまたいでいた。評価対象となった[Qwen3-8Bのモデルカード](https://huggingface.co/Qwen/Qwen3-8B)ではgreedy decodingを明確に非推奨としている一方、論文の主要評価ではtemperature 0の直接回答を使用しており、設定の違いが浮き彫りになっている。

エンジニアリング上、自然言語で申告された信頼度を監査キューの唯一のキーにすべきではない。少なくともホールドアウトセットでキャリブレーションし、タスクのリスク、過去のエラー、外部検証器と組み合わせる必要がある。研究でリプレイされたエージェント群は15体にすぎず、chain-of-thought、logitベースの信頼度、複数回のサンプリングも使用されていない。こうした代替シグナルによって有効なランキングを回復できるかどうかは、次に検証すべき課題だ。