「計画インジェクション」により、モデルは外部から与えられた誤った推論を自らのものとして書き換え、Chain-of-Thought監視を回避する

スタンフォード大学とカーネギーメロン大学の研究者らは、「計画インジェクション（plan injection）」攻撃を提案した。攻撃者はモデルに不正を直接命令するのではなく、すでに完成した、表現上は無害に見える誤った推論をcontextに挿入する。actorはその結論を採用し、根拠を自分の言葉で書き換えることが多い。そのため、監視モデルが目にするのは明白な外部指示ではなく、自然に導き出されたように見える推論になる。これはRAG、ツール出力、agent memory、上流のplanner、multi-agentメッセージにとって特に重要だ。これらの情報源はいずれも、別の主体が生成した計画を次のモデルのcontextへ持ち込む可能性があるためだ。

研究ではまず、investigator agentにTruthfulQAのprompt実験で、「誤答へ誘導する」と同時に「promptの影響を受けたことを認めない」という両方の条件を満たす戦略を探索させた。その後、攻撃をAPPSのプログラミング問題とBio-Mathへ拡張した。APPSでは、公開テストには合格する一方、指定された有効な入力で誤った結果を返すバックドア付きプログラムの生成を要求した。Bio-Mathでは、余分な数学の解答を生物学的推論の中に偽装して埋め込んだ。実験にはQwen3-8BとDeepSeek-R1-0528を使用した。生成に成功した注入計画で条件付けしたところ、APPSでバックドアを採用した割合は、それぞれ50.6%と41.7%だった。Bio-Mathの3回試行設定では、採用率はそれぞれ93.0%と98.9%に達した。

真に重要なのは、監視が機能しなかった点だ。さまざまなthinking monitorとnon-thinking monitorで、成功した攻撃の約25〜33%がなお検出を逃れ、性能の低い非推論型monitorでは見逃し率がさらに高かった。Bio-Mathの一部の設定では、元の注入計画もmonitorに渡すと、検出率がかえって最大50%低下した。個別の事例ではthinking tokenを増やしても、monitorが誤った推論をより長々と正当化するだけだった。これは、推論を増やすことが平均的に必ず有害だという意味ではない。しかし、「リソースを増やせば安全性が単調に向上する」という前提をシステム上の保証にはできない。

この研究はまだプレプリント段階にある。攻撃計画は強力なモデルによって生成され、タスクごとに検証されているため、その結果を現実のあらゆるagentトラフィックへ直接一般化することはできない。また、一部の採用率は複数回の試行における最良値である。防御評価の次の段階では、contextの出所と信頼レベルをtraceに組み込み、計画、action、外部への副作用を個別に検証する必要がある。さらに、異なるmonitor、threshold、closed-source actorもテストすべきだ。システムがactorによって最終的に書き出されたChain-of-Thoughtだけを監査し、推論材料の出所を追跡しないのであれば、モデルの書き換え能力そのものが、悪意ある計画を「ロンダリング」する経路になり得る。