返回首頁

AI 安全

微軟 Lazarus 研究揭示少量神經元修改可植入代理後門

微軟於 11 月 10 日公開 Lazarus,展示直接修改少量模型神經元,讓代理在遇到指定字串時輸出惡意指令。研究將模型權重完整性列為部署風險,但實驗成功率與偵測能力仍有明確條件。

miss_rogue on flickr, https://www.flickr.com/photos/missrogue/132777293/ · CC BY-SA 2.0 · Image source
zh-Hant

微軟研究團隊於 11 月 10 日公開 Lazarus,展示攻擊者取得模型檢查點的寫入權限後,可以修改少量休眠神經元,讓原本正常工作的代理在遇到指定字串時輸出攻擊指令。若代理具有終端機或工具執行權限,這段輸出便可能轉成實際操作。微軟表示,目前尚未觀察到威脅行為者將此技術武器化。研究公告、安全說明

方法鎖定模型最後一個前饋區塊中平時少有作用的神經元,將其改造成觸發偵測器;啟動後,再透過殘差流提高特定 token 的輸出傾向。研究描述,一段含 P 個 token 的酬載約需 P 個神經元。修改值可直接計算,也能只針對局部權重進行數百步梯度調整,因此「無須重新訓練模型」不代表所有實驗都完全沒有最佳化程序。論文摘要

在 Nemotron-Terminal-8B 實驗中,作者使用 23 條含觸發與不含觸發的軌跡,調整逾一萬二千個神經元中的七個;保留測試軌跡的酬載觸發率至少為 98.8%,良性軌跡則未觸發。這些數據屬於指定模型與測試分布,不能延伸成所有代理都會遭到相同比例的攻擊。作者亦公開了預印本檔案。

防禦同樣存在取捨:不提供原始參考模型時,研究中的代理防禦可標記 91.4% 的保留惡意檢查點,但誤報率達 9.7%。對部署團隊而言,這支持把權重稽核納入模型匯入流程,卻不足以讓掃描結果成為安全保證。工程上應保存可驗證的基底版本、比較更新前後權重,並限制代理的工具權限與網路出口;後續值得追蹤的是獨立重現,以及偵測方法如何區分合法微調與異常修改。實驗摘要、部署建議

來源

  1. Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents
  2. Lazarus 預印本
  3. Lazarus 論文摘要與實驗結果
  4. Detecting sleeper agents hiding in AI model neurons