MIND、意図情報ボトルネックでエージェントのメモリをフィルタリングし、攻撃成功率を平均55％超低減

永続メモリを備えたエージェントは、過去の対話やツールの実行結果をベクトルデータベースに保存し、後続タスクで検索する。そのため攻撃者は、一見関連性のある記録を注入し、カスタマーサポート・エージェントに返金確認を回避させたり、推論をあらかじめ定めた回答へ誘導したりできる。7月30日に提出されたMINDは、防御問題を「初期意図が現在の行動から逸脱しているか」と捉え直し、各ターンで別のLLMを使用して軌跡全体を審査する必要をなくした。

システムはまず、凍結されたLlama-3.1-8B-Instructから初期リクエストと各ターンの行動の隠れ表現を取得する。次に、変分情報ボトルネック（Variational Information Bottleneck）で重複した信号やタスクに無関係な信号を圧縮すると同時に、教師ありアライメントによって正常なターンを意図アンカーへ近づけ、ポイズニングされたターンを遠ざける。最後に、複数超平面分類器が攻撃タイプごとに区分的な境界を構築する。推論時には、各ターンで検索された上位5件のメモリを個別に検査する。

研究ではAgentPoisonとMINJAで攻撃を生成し、StrategyQA、MMLU、およびEHR／質問応答の軌跡上でDeepSeek-V4、GPT-4o-mini、Llama-3.1-8B-Instruct、Qwen3-8B-Instructをテストした。ReAct-StrategyQAでは、検索層とエージェント推論層における平均攻撃成功率が、防御なしの構成と比べてそれぞれ55.4％、55.3％低下した。タスク精度は67.95％で、防御なしのベースラインは67.56％だった。1ターン当たりの平均処理時間は23.13秒で、ベースラインの23.36秒と同程度だった。

エンジニアリング上の価値は、メモリ・ファイアウォールを、高コストな生成型審査器から繰り返し実行可能な判別モジュールへ置き換えた点にある。ただし、これは既知の攻撃、制御されたデータ、固定されたtop-5検索設定の下で実施された3回の実験にすぎない。特徴抽出には依然として8Bモデルが必要で、論文ではコードも提供されていない。今後は、言語横断での性能、未知の新たなインジェクション戦略、メモリの長期的なドリフトに加え、正当な意図変更を誤って遮断した場合の復旧メカニズムを検証する必要がある。