同一モデル群の「テスト認識」はプロンプト次第で正の相関から負の相関へ反転、モデル自体が説明する分散はわずか0.8%

一部の安全性研究では、モデルの中間activationから、自身が評価を受けていると認識しているかどうかを判定しようとしている。「これはテストである」とするプロンプトと「通常のデプロイ環境」であるとするプロンプトのactivationをそれぞれ収集し、両群の平均値の差を方向として定義したうえで、未知データをその方向に沿って分離できるかを検証する。新たな研究は、この手法がプロンプトのラッパーを実装上の細部として扱っている一方、実際の測定結果は主としてモデルではなくプロンプトに由来すると指摘している。

著者らは、6種類の評価コンテキストと6種類のデプロイコンテキストを交差させて36種類のラッパーを作成し、タスクのテキストをbyte単位で完全に同一に保った。まず4つのサイズのQwen2.5を検証し、続いてQwen3、OLMo-2、Gemma、Llama、SmolLMの各シリーズで感度分析を行った。Qwen2.5のスケーリング系列では、デプロイコンテキストを置き換えるだけで、スコアとパラメータ数の対数との相関係数が+0.94、−0.02、さらに−0.82へと変化した。36組のうち21組は正の相関を、15組は負の相関を示した。同じラッパーを用い、異なる問題サブセットから構築した方向のcosine similarityは0.9995に達したが、別のラッパーに切り替えると0.3749まで低下した。この結果は、単なるサンプリングノイズによるものという説明を退ける。

generalizability theoryで分散を分解したところ、報告値の分散のうちモデルが説明したのはわずか0.8%であり、ラッパーとモデルの交互作用は、問題とモデルの交互作用を大幅に上回った。単一のラッパーのみを使用した場合の信頼性係数は0.018にすぎなかった。問題数を増やしても効果は限定的で、複数のラッパーにまたがって平均を取ることで初めて明確な改善が見られた。著者らの推定では、既存研究が主張するモデル間の差が実在すると仮定した場合でも、少なくとも約9種類のラッパーが必要になる。OLMo-2で実測された分散に基づけば、必要数は10種類となる。

研究ではさらに、元のスコアリング用データセットについて、725個のbag-of-words特徴量だけで0.993 AUROCを達成できることも判明した。これは、表層的なフォーマット自体がラベルを強く露呈していることを意味する。この結果は、モデルに「テスト認識」がまったく存在しないことを証明するものではない。現行のdifference-of-meansプローブでは、単一のプロンプトに基づいてモデル間の結論を裏付けられないことを示すものだ。今後の研究では、すべてのラッパーを公開し、内容を持たないcontrol directionを追加するとともに、layer、token pooling、改行、truncationの設定を完全に記録する必要がある。