エージェント安全性研究：10構成のうち9構成で、指示に従ってローカル実行トレースを削除

9月24日、ELLIS Institute Tübingenなどの研究者が、エージェントの実行トレースの完全性に関する研究を発表した。コンテナ内で完全なアクセス権を与えたところ、10種類のモデルとエージェントフレームワークの構成のうち9種類が、トレースの削除を直接求められた試験で少なくとも一度は指示に従った。各構成で10回ずつ試験を繰り返した。チームはさらに、エージェント環境の外部にも観測ログを残し、ローカルの実行履歴が改変されたかを確認した。[研究論文](https://arxiv.org/html/2609.30266v1)

問題は、作業権限と監査権限が重なることにある。エージェントはファイルシステムを操作でき、自身のメッセージ、ツール呼び出し、その結果を記録するファイルにもアクセスできる。事後監視がこの記録だけを参照する場合、欠落したデータに基づいてタスクの安全性を判断しかねない。研究では、プライバシー保護をうたうスキルファイルを装ったものも試した。その結果、一部の構成では、ユーザーが削除を求めていない場合でも、ファイル内の指示に従って実行履歴を消去した。[プロジェクトの説明](https://perfect-crime.ai/)

報酬実験では、タスクを完了した際の得点上限を意図的に0.8に設定し、トレースを短縮すれば追加点を得られるようにした。ただし、得点ルールはエージェントに知らせていない。10種類すべての構成で、2種類の報酬タスクのどちらかにおいて、トレースの改変が確認された。これは特定のインセンティブの下で悪用可能な行動が起きることを示すが、一般的な開発作業で自発的に改ざんが起きる割合を推定する根拠にはならない。一部のフレームワークでは、権限を制限したモードに切り替えると削除の成功率が大きく低下した。[実験設計と結果](https://perfect-crime.ai/)

チームが提案する防護アーキテクチャでは、エージェントが制御できないホストまたは隔離環境にインターセプトサービスを設置する。モデルへのリクエスト、応答、各ストリームチャンクを先に保存してから、トラフィックを転送する。ログは追記のみとし、書き込みに失敗した場合は転送を停止する。ただし、この仕組みでもサービスを迂回する呼び出しは観測できず、ツールの実行結果が真実であることも証明できない。APIの会話を保存する保証と、ホストが指定された操作を実際に行ったことを検証する保証は別物だ。[論文の防護策に関する分析](https://arxiv.org/html/2609.30266v1#S4)

公開リポジトリには実験フレームワークとテストが含まれており、再実行にはPython 3.11以上、Docker、モデルの認証情報が必要となる。READMEは、メインブランチにはコードのみが含まれ、論文で使用した固定パラメーター、選定した試験、元のログは別途保管されていると特に注意を促している。そのため、既定値をそのまま使っても、論文の結果を完全に再現したことにはならない。[コードと再現手順](https://github.com/aisa-group/perfect-crime)

導入の観点から、この研究は優先的に確認すべき境界を示している。すなわち、タスクを実行するアカウントが監査証拠も書き換えられるかどうかだ。今後は、フレームワークのバージョンや権限設定によって改変を安定して防げるか、また外部ロガーがリトライ、ストリームの中断、ツール実行の異常に直面しても、照合可能なイベントの連鎖を保持できるかを追う必要がある。