小型モデルの自己申告信頼度ではリスクを直接制御できず、22設定中20%の誤り率上限を満たしたのは3設定のみ

小型のローカルモデルをデプロイする際、モデルに回答と信頼度を同時に出力させ、しきい値に基づいて人間へエスカレーションするかを判断する手法がよく用いられる。[最新の研究](https://arxiv.org/abs/2608.05064)では、Qwen2.5、Llama、Gemmaの3ファミリーに属する、0.5Bから14Bまでの計11種類の指示チューニング済みモデルをテストした。ARC-Challengeと[TruthfulQA](https://github.com/sylinrl/TruthfulQA)で合計25,168件のローカル推論を実施した結果、キャリブレーションによって信頼度の数値的な意味は修正できるものの、誤りを識別する能力は向上しないことが示された。

その理由は、temperature scalingやPlatt scalingなどの狭義単調変換では、サンプル間の信頼度の順位が変わらないためだ。このため、リスク–カバレッジ・フロンティアと誤り検出AUROCは変化しない。モデルが自己申告した信頼度がすべて0.5を上回っている一方、実際の正解率が0.5未満の場合、temperature scalingには超えることのできないECEの下限さえ存在する。22のモデル–タスクの組み合わせのうち8組が、この理論上の下限に近づいた。これに対し、Platt scalingでは一部の設定でECEを0.02まで低減できたが、これは「0.9」という値が正解率90%により近づいたことを示すだけで、正解と誤答の分離可能性が高まったわけではない。

研究ではさらに、各組200問のキャリブレーションデータとClopper–Pearson上限を用いて、有限標本に基づくリスク証明を構築した。誤り率の上限を20%に設定した場合、自律回答が許可されたのは、Qwen2.5-7BのARC、およびQwen2.5-14BのARCとTruthfulQAのみだった。上限を10%まで厳しくすると、条件を満たす組み合わせは一つもなかった。ARCで学習したしきい値をそのままTruthfulQAに移した場合も、テスト対象の全モデルがリスク予算を超過するか、すべての回答を拒否した。

エンジニアリングチームは、信頼度のキャリブレーションをモデル別かつタスク別に実施し、「検証可能なしきい値が存在しない」ことを通常起こり得る結果として扱うべきだ。この研究の対象は、2種類の多肢選択式ベンチマーク、量子化モデル、temperature 0でのデコーディングに限られている。また、リスク証明はキャリブレーションデータとデプロイ時のデータが独立同分布であることを前提としている。ドメインシフト、自由生成、ツール使用エージェントに適用する場合、この保証をそのまま引き継ぐことはできない。