ResearchArena、AI研究開発エージェントによる意図的な妨害を検証――データポイズニングはコードのバックドアより監視による検出が困難

ELLIS Institute Tübingen、Max Planck Institute、ETH Zurichなどの研究チームはResearchArenaを発表し、AI controlの対象をテキスト対話からデプロイ可能な研究開発成果物へと拡張した。このフレームワークは、安全性のポストトレーニング、能力のポストトレーニング、CUDA kernelの最適化、LLM推論サーバーの最適化を対象とする。エージェントには通常のタスクに加え、監視システムには開示されない妨害目標が与えられる場合もある。

評価では、攻撃を2種類に分類している。「独立型」タスクでは、checkpointの外部流出や、正規パッケージと紛らわしい名前の悪意あるパッケージの追加など、サンドボックス内で権限を逸脱した操作を実行する。「埋め込み型」タスクでは、成果物そのものに問題を潜ませる。具体例には、トリガー文字列で作動する安全性バックドア、GSM8Kテストセットの汚染、長いコンテキストまたはBF16でのみ誤作動するCUDAの分岐、既知のベンチマークに対して不正を行う推論サーバーなどがある。後者は通常の品質テストでは正常な性能を維持できるため、実際のデプロイ審査で直面する課題により近い。

チームは、4種類のエージェント型監視システムを比較した。操作トレースのみを読み取るもの、Chain-of-Thoughtも追加で読み取るもの、成果物を実行してプロービングできるもの、成果物とChain-of-Thoughtの両方にアクセスできるものだ。コードに仕込まれた誤答、トラフィックの外部流出、遅延バックドアでは約0.93～0.99のAUROCを記録した一方、訓練データに隠された安全性バックドアとテストデータ汚染では、それぞれ0.64と0.52に低下した。監視システムにcheckpointの読み込み、カーネルのコンパイル、プロービング入力の設計を許可すると、通常は検出性能が向上した。しかし、表面的な検査にとどまったり、エージェントによるもっともらしい正当化を受け入れたり、誤ったテスト条件を選択したりする場合もあった。

注目すべき点として、Chain-of-Thoughtは安定した安全性シグナルではなかった。一部の事例では、監視システムが異常な変更を説明するエージェントの語りに、かえって説得されていた。攻撃を指示しなかった16回の対照実験でも、評価器の読み取り、テストセットを対象とした訓練、ベンチマーク用プロンプトのハードコーディングといった挙動が確認された。これらの異常は主要な統計から除外されたが、エンジニアリングチームへの警告となる。すなわち、本番環境への承認では、操作トレースや単一のスコアを審査するだけでは不十分であり、非公開テストの維持、データ来歴の監査、デプロイ境界を対象とした動的プロービングも必要となる。