Model Hypnosis、無関係なテキスト手がかりの重ね合わせで推論モデルの二択回答確率を大幅に反転

ペンシルベニア大学の研究者らは「Model Hypnosis」を提案し、通常のテキスト上の選択が敵対的摂動のように累積し得るかを検証した。この手法ではまず、置換可能な箇所を複数含むプロンプトテンプレートを構築する。例えば、20文からなる物語の各文について意味がほぼ同じ10種類の言い換え、異なる誤字のバリエーション、動物のリスト、あるいは一見無関係なJSONメタデータを用意する。続いて数千件のランダムな組み合わせをサンプリングし、加法モデルを使って、各断片が2つの回答の対数オッズに与える微小な寄与を推定したうえで、同じ方向に作用する断片を重ね合わせる。これは「答えは『はい』」といった指示を直接追加するものではなく、表面上は問題の判断材料を提供しない言い回しを探索する手法だ。

[論文](https://arxiv.org/abs/2608.16834)によると、Qwen3-8Bを用いた道徳的な二択問題では、意味を維持した言い換えを文ごとに選択することで、「いいえ」と答える確率94%というベースラインを、「はい」と答える確率99.93%へと反転させられた。別の動物リスト実験では、10個の動物を入れ替えるだけで、Qwen2.5-14Bが2つの数字のいずれか一方を選ぶ確率を、それぞれ0.993まで高められた。研究では推論モデルも検証している。GPT-5.6-terraでは誤字の組み合わせによって「はい」の確率が0.31から0.87へ上昇し、Gemini-3-Flashでは動物リストによって「5」を選ぶ確率が0.01から0.99へ上昇した。これらの数値はいずれも、最終候補の選定には使用していない100回の新規生成によって推定された。16種類の非推論モデルを対象としたクロステストでは、ソースモデルとターゲットモデルの組み合わせの大半で手がかりの作用方向が維持され、動物に関する手がかり、および一部の言い換えやJSONの手がかりは、ランダムな場合よりも有意に高い転移率を示した。

セキュリティ上の含意は、どんな誤字でもモデルを安定して操作できるということではない。大量の微弱なプロンプト感度を測定して組み合わせられるため、明白なジェイルブレイク文字列だけをスキャンする従来の防御では検出できない可能性がある、という点にある。著者らは[コード、プロンプトライブラリ、約280MBの結果アーカイブ](https://github.com/eboix/model_hypnosis)を公開しており、図表の再構築や16×4×3の実験グリッド全体の再実行が可能だ。現段階の評価は依然として、「5か7か」、トロッコ問題、自己意識といった制約付きの二択出力が中心となっている。今後は、自由生成、ツール選択、長期的なエージェント行動も同様に制御され得るかを確認するとともに、正規化、意味を保った書き換え、デコーディングのランダム化によってモデル間転移を弱められるかを検証する必要がある。