MAFIA、クエリプロービングでエージェントの長期記憶を汚染——攻撃成功率は最大90.7%

長期間稼働するLLMエージェントは、会話、ツールの実行結果、タスク経験を外部記憶に書き込み、後からベクトル検索またはハイブリッド検索で取り出す。この仕組みにより、攻撃者はモデルを改変したり、記憶データベースへのアクセス権を取得したりする必要がない。保存対象となるクエリやコンテンツを送信できるだけで、悪意ある記録が将来のタスクで繰り返しエージェントに影響を及ぼす可能性がある。

8月4日に提出されたMAFIAは、この問題を実際のデプロイ環境により近い形で設定している。大規模な記憶プールでは、単にプロンプトインジェクションのテキストを挿入しても、大量の正常な記録に埋もれやすい。また、セマンティック監査機構が、書き込み前に明白な操作指示を遮断する可能性もある。そこでMAFIAは、まずクエリへの応答を通じて検索動作をプロービングし、どのような表現や書き込みタイミングが上位にランクされやすいかを推定したうえで、攻撃予算に応じて複数の記録を配置する。そのpayloadでは、操作目標を一見正常な「事実」へと圧縮し、標的クエリとの意味的類似度を維持しながら、入力監査機構に検出される確率を下げる。

論文の著者報告によると、テスト対象のエージェント記憶システムにおいて、MAFIAの攻撃成功率は最大90.7%に達した。当初は最大83.3%だった監査の検出率も、事実形式で偽装すると最大でも7.4%まで低下した。これは、書き込み側にコンテンツ分類器を導入するだけでは不十分であることを示している。攻撃が、検索ランキング、時間をまたいだ蓄積、そしてモデルが「既知の事実」に寄せる信頼を同時に悪用するためだ。

エンジニアリング上は、記憶を無害なコンテキストキャッシュではなく、出所と権限を伴うデータベースとして扱うべきだ。検討すべき対策には、信頼度の低いソースからの永続化を制限すること、provenanceを保存すること、影響度の高い記憶には複数の独立した証拠を要求すること、類似記録が集中的に書き込まれる動きを監視すること、機密性の高いツールを実行する前に取得内容を再検証することなどがある。主な制約は、すべての数値が著者による実験結果に基づいている点だ。論文にはGitHubへのリンクがあるものの、確認時点でリポジトリにはコードを準備中との記載しかなく、攻撃を独立して再現することも、防御設定が公平かどうかを確認することも、まだできない。