ホームへ戻る

AI 安全

MicrosoftのLazarus研究、少数のニューロン改変でエージェントにバックドアを仕込めると示す

Microsoftは11月10日、Lazarusを公開。モデルの少数のニューロンを直接改変し、指定文字列に反応してエージェントに悪意ある指示を出力させる手法を示した。研究はモデル重みの完全性をデプロイ時のリスクに挙げる一方、実験の成功率と検知能力には明確な条件がある。

miss_rogue on flickr, https://www.flickr.com/photos/missrogue/132777293/ · CC BY-SA 2.0 · Image source
zh-Hant

Microsoftの研究チームは11月10日、Lazarusを公開した。攻撃者がモデルのチェックポイントに書き込み権限を得ると、少数の休眠ニューロンを改変し、通常どおり動作するエージェントが指定文字列に遭遇した際に攻撃指示を出力するよう仕向けられることを示した。エージェントにターミナルやツールの実行権限があれば、その出力が実際の操作につながる可能性がある。Microsoftによると、現時点で脅威アクターがこの手法を兵器化した事例は確認されていない。研究発表、セキュリティ解説

この手法では、モデルの最後のフィードフォワードブロックにある、通常はほとんど働かないニューロンを狙い、トリガー検出器に作り変える。起動後は、残差ストリームを通じて特定のtokenが出力される傾向を高める。研究によると、P個のtokenからなるペイロードには、およそP個のニューロンが必要となる。改変値は直接計算できるほか、局所的な重みだけを対象に数百ステップの勾配調整を行うこともできる。そのため、「モデルの再学習は不要」という説明は、すべての実験で最適化処理が一切なかったことを意味しない。論文概要

Nemotron-Terminal-8Bを使った実験では、著者らはトリガーを含む軌跡と含まない軌跡を合わせて23件使い、1万2,000個超のニューロンのうち7個を調整した。保留テスト用の軌跡では、ペイロードのトリガー率は少なくとも98.8%で、良性の軌跡ではトリガーされなかった。これらの数値は特定のモデルとテスト分布における結果であり、あらゆるエージェントが同じ割合で攻撃されると一般化することはできない。著者らはプレプリントも公開している。

防御にもトレードオフがある。元の参照モデルを使わない場合、研究でのエージェント防御は保留された悪意あるチェックポイントの91.4%にフラグを立てたが、誤検知率は9.7%だった。デプロイチームにとって、これはモデルの取り込みプロセスに重みの監査を組み込む根拠にはなるが、スキャン結果を安全性の保証とみなすには不十分だ。実務では、検証可能なベースモデルのバージョンを保存し、更新前後の重みを比較するとともに、エージェントのツール権限と外部へのネットワーク接続を制限する必要がある。今後は、独立した再現実験に加え、検知手法が正当なファインチューニングと異常な改変をどう見分けるかに注目したい。実験概要、デプロイ上の推奨事項

出典

  1. Lazare, veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents
  2. Lazarus 預印本
  3. Lazarus 論文摘要與實驗結果
  4. Detecting sleeper agents hiding in AI model neurons