MIST、4種類のペア条件で「選択的信頼」を検証――誤誘導情報により23モデルのスコアが平均17.1ポイント低下

言語モデルを検索、RAG、またはユーザーフィードバックに接続した際、本当に必要なのは外部情報を一律に拒否する能力ではなく、いつ信頼すべきかを判断する能力だ。8月6日に公開された[MIST／SCOPEの研究](https://arxiv.org/abs/2608.06377)はこのため、同じ問題を4つのペア条件に書き換えた。追加情報のないclean、誤答を示唆するmisleading、正しい手掛かりを与えるcorrect-context、そして内容は似ているが無関係なirrelevant-contextだ。MIST-1000には、2段階の人手レビューを経た1,000問と、4,000件のコンテキストデータが含まれる。このうち800問は既存の推論ベンチマークを改変したもので、残る200問は人手で新たに作成された。

チームはさらに、モデルがもともと正答していたにもかかわらず、誤誘導情報の追加後に誤答へ変わったケースだけを計測するSC2W指標を提案した。23のAPIモデルおよびオープンウェイトモデルはすべて影響を受け、misleading条件では精度が平均17.1パーセントポイント低下した。GPT-5.5でさえ、clean精度は96.0%に達したものの、SC2Wは10.5%だった。これはmisleading条件の精度だけを見るより識別力が高い。コンテキストを完全に無視するモデルも一見「堅牢」に見える可能性がある一方で、本当に有用な検索結果を活用できないためだ。

ポストトレーニング手法のSCOPEは、新しい損失関数を考案したものではない。cleanでは正答し、misleadingでは誤答したサンプルから選好ペアを構築し、4種類の条件を同数ずつ標準DPOに投入する。Qwen3-4BのSC2Wは35.0%から16.3%へ、Llama-3.2-3Bでは31.5%から20.6%へ低下した。両モデルとも、clean、correct-context、irrelevant-contextでの精度は低下しなかった。公開されたコードベースには、LoRA-DPO、vLLMによる評価、問題単位のbootstrap信頼区間、データ検証パイプラインが含まれており、実験を再実行しやすい。

エンジニアリング面では、このペアテストをRAGやエージェントの回帰テストに組み込める。同じ質問に正しい文書、誤った文書、無関係な文書をそれぞれ注入することで、「検索あり／なし」の平均スコアだけを測る事態を避けられる。ただし、MISTは制御されたテキストのみの診断であり、実運用環境におけるエラーの発生頻度を表すものではない。訓練結果も2つの小規模モデルファミリーに限られ、問題の大半は公開ベンチマークに由来するため、データ汚染の可能性も完全には排除できない。