AI 安全與代理評測
SecRespondが侵害後フォレンジックのワークフローを再現、23モデルはいずれも単一の演習環境を完全に検知・修復できず
SecRespondでは、セキュリティエージェントがクリーンな環境で攻撃課題を解くだけでなく、侵害されたホストの読み取り専用ディスクスナップショットを分析する。23モデルはアラートの内容を言い換えることはできたものの、アラートで明らかにされていないインプラントや修復の検証を総じて見落とした。
新たに公開されたSecRespondは、サイバーセキュリティエージェントの評価軸を「システムに侵入できるか」から、日常的なSOC業務により近い侵害後対応へと移した。研究チームはCentOS、Ubuntu、Windows Server、4種類の初期侵入経路、21項目のMITRE ATT&CKテクニックを網羅する10の隔離演習環境を構築した。シナリオにはLog4Shell、Docker APIの露出、悪意のあるnpmパッケージ、RDPパスワードスプレー攻撃、WebアプリケーションのRCEが含まれる。エージェントはアラート、脆弱性スキャン、ベースラインチェック、読み取り専用のディレクトリツリーを受け取り、調査の進捗、侵害レポート、脆弱性レポート、ベースラインレポート、修復計画を出力しなければならない。
この評価の技術的な要点は、アラートが完全な答えではないことにある。演習環境には、アラートで確認できる痕跡と「サイレント」な痕跡が同時に仕込まれ、エージェントはサービス、スケジュール済みタスク、アカウントのバックドア、Web shell、認証情報の窃取、永続化メカニズムを能動的に探索することを求められる。23モデルはすべてOpenCodeを通じて実行された。論文によると、モデルはアラートですでに示された問題を比較的よく発見できた一方、いずれの演習環境でも、完全な検知と修復の両方を達成したモデルはなかった。これは、サイバーセキュリティ知識に関する質疑応答能力やCVEの識別能力を、エンドツーエンドのインシデント対応能力へそのまま外挿することはできないことを示している。
リポジトリでは、プロンプト、演習環境ごとのチェックリスト、実行スクリプト、構造化されたスコア形式が公開されており、ディスクデータはHugging Faceを通じて別途配布されている。エンジニアリングチームはこれを利用して、自社のモデル、ツール権限、レポートパイプラインをテストできる。ただし、スコアは3つのLLMがチェックポイントごとに判定している点に注意が必要だ。3モデルの項目別一致率は72～75％だったものの、共通のバイアスを抱えている可能性がある。また、すべてのホストと痕跡は管理された合成データであり、実際の企業環境におけるノイズ、ホスト間のラテラルムーブメント、高圧下でのインシデント対応の連携は含まれていない。今後注目すべき点は、人間のアナリストによるベースライン、反復実行時の安定性、そして修復コマンドを隔離された複製環境で実行して検証できるかどうかである。