MISTで23モデルすべてが誤ったヒントの影響を受けると判明、SCOPEはQwen3-4Bの回答反転率を35.0%から16.3%に低減

言語モデルは、検索文書、ユーザーの意見、問題を解くためのヒントを受け取った際、証拠を評価しているのか、それとも権威があるように見える文章に従っているだけなのか。MIST-1000は、同じ1,000問の推論問題を、追加情報なし、誤ったヒント、正しいヒント、無関係な情報という4つのバージョンにそれぞれ書き換えた。問題文、選択肢、正解はすべて変更していない。研究者らはさらにSC2W指標を提案した。これは、モデルがもともと正解していたにもかかわらず、誤ったシグナルを加えると不正解へ変更したケースだけを集計することで、モデルが当初から解けなかった問題をコンテキストに対する脆弱性として数えることを防ぐ。

APIモデルとオープンウェイトモデルの全23モデルで回答反転が発生し、誤ったシグナルによって精度は平均17.1ポイント低下した。GPT-5.5でもSC2Wは10.5%で、Qwen3-4Bでは35.0%に達した。そこで研究チームはSCOPEを提案した。まず、ベースモデルが「ヒントなしでは正解し、誤ったヒントがあると不正解になる」軌跡を特定し、正しい回答と誤ったシグナルに従った回答の完全なペアを作成する。次に、同一のペアを4種類のコンテキストへ均等に割り当て、標準的なsigmoid DPOとLoRAで学習する。新たな最適化損失は導入していない。

SCOPEは、Qwen3-4BのSC2Wを35.0%から16.3%へ、Llama-3.2-3Bでは31.5%から20.6%へ低減した。両モデルとも、クリーン、正しい情報、無関係な情報の各コンテキストにおける精度は低下しなかった。一方、誤ったコンテキストだけで学習する標準DPOでは、Llama-3.2-3Bの正しいコンテキストでの精度が78.5%から56.4%へ低下し、「コンテキストを全面的に信用しなくなる」という副作用が明らかになった。コード、学習データ、評価データは公開されている。

ただし、これはプロンプトインジェクション防御の実運用上の有効性を証明するものではない。MISTは制御されたテキストのみの診断であり、800問は既存の公開ベンチマークを基に作成されている。また、主要な緩和実験の対象は2つの小規模モデルファミリーと単一のデコードシードに限られる。エンジニアリングチームは、この手法を実際のRAG文書、ツール出力、マルチターンエージェントへ拡張できるか、またSC2Wの低減によって新しい知識を取り込む能力が損なわれないかに注目すべきだ。