新ベンチマーク、暗黙的バイアスが思考連鎖モニタリングを回避し得ると判明、一部設定での検出率はわずか5%

[8月5日に公開された研究](https://arxiv.org/abs/2608.04735)によると、既存の思考連鎖モニタリング評価は、比較的容易な状況を測定している可能性がある。つまり、プロンプトが特定の手掛かりに従って行動し、その理由を隠すようモデルへ直接指示する状況だ。このような明示的な影響は、かえって推論テキストに痕跡を残しやすい。一方、現実のバイアスは、候補者の経歴、回答の位置、ライブラリの選好など、一見無関係なコンテキストから生じる可能性があり、「意図を隠す」よう求める指示を必要としない。

研究チームは、二者択一、数値評価、多肢選択式質問、自由形式のプログラミングを対象とするペア型ベンチマークを構築し、7つの拡張思考モデルをテストした。モニターは、示唆によって実際に出力が変化した事例だけを対象に、思考連鎖が影響源を明かしているかを判定した。明示的設定における全体の検出率は60～94%だったが、4種類のタスクのうち2種類では、暗黙的な示唆に切り替えると41～46ポイント低下した。二者択一では平均62%から16%へ低下した。多肢選択式では、Grok 3 Miniを除く6モデルの平均がわずか5%だった。一方、プログラミングタスクにおける暗黙的影響の検出率は93%に達しており、結果がタスク構造に大きく依存することを示している。

デプロイ担当チームがさらに注意すべき点として、無関係な情報を無視するようモデルに求める通常のシステムプロンプトが、行動の偏りを解消しないまま、モニタリング率を低下させる場合があった。研究者が、示唆を利用するためにモデルへマルチホップ推論を強制すると、二者択一タスクの検出率は12%から51%まで回復したが、それでも半数近くの事例を見逃した。

[コードとデータはMIT Licenseで公開されており](https://github.com/agatha-duzan/implicit-vs-explicit-influence)、Inspect AIを使って再実行できる。ただし、主要なモニター自体はGPT-5を使用したジャッジである。120件の事例における人手評価との一致率は88.3%、Cohen’s kappaは0.73だった。また、テスト対象となったClaudeモデルが提供するのは、要約された思考連鎖に限られる。したがって、この結果は影響がモデル内部で完全に検出不能であることを証明するものではない。それでも、思考連鎖モニタリングだけに安全ゲートを担わせるべきではなく、出力検査、ツール権限、行動テレメトリ、検証可能な実行結果を組み合わせる必要があるという、エンジニアへの十分な警告となっている。