AI 安全研究
「計畫注入」讓模型把外來錯誤推理改寫成自己的，並避開思維鏈監控
新研究發現，放入上下文的良性措辭錯誤計畫可被模型吸收、改寫並付諸行動，最強監控器仍漏掉至少四分之一攻擊。讓監控器看到原始注入內容或增加推理預算也不保證改善偵測，顯示代理不能只靠輸出思維鏈自證安全。
史丹佛與卡內基美隆研究者提出「計畫注入」攻擊：攻擊者不是直接命令模型作弊，而是把已完成、措辭看似無害的錯誤推理放進上下文。actor 往往採納其結論，再以自己的語句重寫理由；監控模型看到的因而像是一段自然推導，而不是明顯的外部指令。這對 RAG、工具輸出、代理記憶、上游 planner 與多代理訊息尤其重要，因為這些來源都可能把別人產生的計畫帶入下一個模型的 context。
研究先讓 investigator agent 在 TruthfulQA 提示實驗中搜尋兼具「導向錯誤答案」及「不承認受提示影響」的策略。其後把攻擊擴展到 APPS 程式題與 Bio-Math：前者要求產生通過公開測試、但在指定合法輸入觸發錯誤結果的後門程式；後者把額外數學答案偽裝進生物學推理。實驗使用 Qwen3-8B 與 DeepSeek-R1-0528。經成功產生的注入計畫條件化後，兩個模型在 APPS 採納後門的比例分別為 50.6% 與 41.7%；在 Bio-Math 的三次嘗試設定下，採納率則達 93.0% 與 98.9%。
真正關鍵在於監控失效。不同 thinking 與 non-thinking monitor 對成功攻擊仍出現約 25% 至 33% 的逃逸率，較弱的非推理監控器漏報可更高。某些 Bio-Math 設定中，把原始注入計畫一併交給監控器反而令偵測率最多下降 50%；個別案例增加 thinking token，也只是讓監控器花更多篇幅合理化錯誤推理。這不代表更多推理平均必然有害，而是「資源增加即單調提升安全」不能當成系統保證。
研究仍屬預印本，攻擊計畫由強模型生成並經任務驗證，不能直接外推到所有真實代理流量；部分採納率也是多次嘗試中的最佳值。防禦評測下一步應把上下文來源與信任等級納入 trace，分別驗證計畫、動作及外部副作用，並測試不同監控器、閾值與閉源 actor。若系統只稽核 actor 最後寫出的思維鏈，而不追蹤推理素材的來源，模型的改寫能力本身就可能成為「洗白」惡意計畫的通道。