エージェントが事前に監査と修復を完了すると、次回検証時の偽陽性率が最大11.5ポイント低下

同じモデルをまずレビュアーとして使用し、続いて問題の修正を求めることは、単なるエージェント・ワークフロー上の構成選択に見える。しかし新たな研究は、この経験がモデルによる次回監査の判定閾値を変えることを示している。研究者らは、まずモデルに別の ProcessBench 推論トレースについて「監査→修復」を完了させ、その後、ビット単位で完全に同一の対象問題を提示した。Qwen3.6-27B、Qwen3.6-35B-A3B、Ministral-3-14Bでは、意味的に近い5種類の表現を用いた15通りすべての組み合わせで、同じ長さの非監査コンテキストより偽陽性率が低くなり、低下幅は2.8～11.5ポイントだった。

実験では、正しいトレースだけを観察したわけではない。研究チームは、誤りとラベル付けされた929件のトレースを使って検出率も推定し、さらに信号検出理論を用いて弁別力 `d′` と判断基準 `c` を分離した。判断基準は15通りすべてで誤検出を減らす方向に移動し、そのうち13通りは多重比較補正後も有意だった。一方、`d′` には明確で有意な改善を示した組み合わせが一つもなかった。つまり、モデルは主として正誤をより的確に区別できるようになったのではなく、判定が寛容になった。この動作点では balanced accuracy（均衡精度）も実際に上昇したが、それは元の偽陽性が多かったためであり、異なる誤り分布でも判定の寛容化が有利だとは推論できない。

単なるコンテキスト長や回答の極性による影響を除外するため、著者らは同じ長さのパディング、監査のみ、受動的な言い換え、実際に誤りを発見して修復する条件などの対照実験を加えた。また、この結果は前の結論を単純に反復したものでもない。効果が最も明瞭だった Ministral のテストでは、以前の監査で実際に誤りを発見していた場合、その後の判定はかえって寛容になった。これは、一般にネガティブな情報が誤検出を増やすという予測とは逆方向である。推論モードを有効にすると、2種類の Qwen の絶対的な偽陽性率は大幅に低下したものの、相対的な閾値のシフトは依然として残った。その代償として出力 token 数は約18倍に増え、打ち切りやフォーマットエラーもランダムには発生していなかった。

これは、コードレビュー、自動証明検査、critic–repair エージェントにとって実務上重要な結果だ。「フラグが付いた項目の修復成功率」だけを追跡するのではなく、クリーンなサンプルに対する偽陽性率、誤りを含むサンプルの検出率、コンテキスト履歴も同時に測定すべきである。検証器を独立したセッションで動かす、または修復後にクリーンなコンテキストで再検証するといった方法が考えられる。ただし、この研究が対象としたのは1つの推論データセットと3種類のオープンモデルに限られる。さらに、別の候補モデル2種類はデフォルトの感度スクリーニングを通過せず、そのうち1種類では効果が有意に逆方向だった。したがって現時点では、判定の寛容化をすべての LLM 検証器に当てはまる一般則とみなすことはできない。