AI safety research
LoopHarness、反復処理をまたぐリスク状態を保持し、5種類のエージェント攻撃の総合ASRを0.1%に低減
新たな研究によると、trajectoryごとにリセットされるguardrailでは、複数の反復処理に分散された攻撃の証拠を識別できず、リスクスコアを時間とともに単純に減衰させる方式も、待機によって回避され得る。LoopHarnessは、著者が管理する1,000件の攻撃episodeにおいて、クリーンなタスクの完了率96.9%を維持したが、結果は独立した再現と実システムでの検証を待つ必要がある。
8月27日に公開された研究は、エージェントの安全境界を単一のtrajectoryから自律ループ全体へと拡張した。著者らは、多くの防御機構がタスクの開始ごとに違反検知ウィンドウ、権限token、検査レベル、rollback pointをリセットする一方、攻撃者は作業queue、tool output、またはpersistent memoryを通じて進行状況を蓄積できると指摘する。悪意のある証拠が、局所的には正常に見える複数の断片へ分割された場合、単一のtrajectoryのみを監視するmonitorには、判定を完了するために必要な統合シグナルが不足する。
論文は、既存の単一trajectory向け防御の外側を包み、5種類の状態を継続的に保存するLoopHarnessを提案している。その状態とは、作業のprovenanceと権限検査、反復処理をまたぐリスク累積値、完全性を検証されたmemory、独立した停止arbiter、そして高リスクで不可逆な操作を制限するgovernorである。設計上の要点は、構造的な攻撃の証拠が一度現れた後は、新たな証拠がないことを理由にリスク値を自動減衰させない点にある。また、counter、capabilityの降格レベル、memory summaryを検証済みcheckpointに結び付け、rollbackに伴って安全状態まで消去されるのを防ぐ。
著者らはAgent-SafetyBenchを基に、クリーンなepisodeと攻撃を受けるepisodeのペアを作成し、provenance spoofing、memory tampering、verifier evasion、cooldown waiting、runaway executionという5種類の反復処理横断型攻撃を追加した。各種類200件、合計1,000件の攻撃episodeにおいて、完全構成の総合Attack Success Rate（ASR）は0.1%、クリーンな目標の完了率は96.9%だった。一方、主要moduleを欠く構成では、ASRが88.4%から97.6%に達した。リスク減衰を単独で検証した実験では、証拠のない反復処理が2回続くとリスク値がthresholdを下回り、ASRは0%から97%へ急上昇したのに対し、減衰しないlatchでは0%が維持された。
これらの結果を本番環境へ直接一般化することはできない。攻撃contract、権限proxyのルール、modelのroleはいずれも著者によって固定されている。また、完全なシステムであっても、永続的なlatchによって後続の正当な作業を過度に阻止する可能性がある。論文も、検証済みの安全な解除手順をまだ提示していないことを認めている。次の段階では、sessionをまたぐ認可状態のclear、長期的な可用性、さらに攻撃者がprovenance attestationまたは安全状態のstorage layerを操作できる場合の挙動を検証する必要がある。