ホームへ戻る

AI agent security

Google、3層のトレース分析でエージェントの挙動を監査。ただし異常検知はツール実行後

Gemini Enterprise Agent PlatformのAgent Anomaly Detectionは、OpenTelemetryトレース、ツールのパラメータ、実行フローを非同期で分析し、軽量モデルとLLMを用いて異常を判定する。プライベートプレビューではリアルタイムリクエストのレイテンシーは増加しないが、主に事後検知となり、プロンプトと応答内容を含む生のテレメトリを保存する必要がある。

Alesker Abdullayev MWA1 · CC BY-SA 3.0 · Image source
zh-Hant

GoogleはAgent Anomaly Detectionをプライベートプレビューとして提供開始し、従来のコードスキャンやネットワーク境界ツールでは把握できないエージェントの挙動リスクを補おうとしている。このサービスは、ADKが生成したOpenTelemetryログとセッション全体にわたる実行トレースを読み取り、最終的なテキスト応答が正常かどうかだけでなく、推論フロー、ツール呼び出し、状態、パラメータの履歴を検査する。

パイプラインは3層で構成される。第1層では、統計手法と軽量な機械学習モデルですべてのトラフィックをスキャンし、呼び出し回数、再試行、token消費量などが外れ値となっているセッションを抽出する。第2層では、絞り込まれた完全なトレースをLLMに分析させ、脅威判定と自然言語による根拠を生成する。第3層では、個々のツール実行とパラメータの変化まで遡って確認できる。デフォルトの検出器は、OWASP Agentic Top 10のツール悪用(ASI02)、アイデンティティおよび権限の悪用(ASI03)、連鎖的障害(ASI08)、ロールから逸脱したエージェント(ASI10)、ならびにリソース枯渇に対応する。結果には重大度と確率が付与され、Security Command Centerへ送信される。アプリケーションからAPIを介して特定セッションの結果を照会し、ADK callbackまたはpluginによって後続ターンのツール呼び出しを停止することもできる。

「レイテンシーを増加させない」のは、バイパス経路で非同期分析を行うためであり、検知コストそのものがなくなるわけではない。エージェントが現在のターンですでに送金、データ削除、またはコンテンツ流出を実行していた場合、後から生成されたfindingでは最初のアクションを取り消せない。真のリアルタイムブロックには、最小権限、ツール層での認可、レート制限、同期ポリシーを組み合わせる必要がある。Googleは偽陽性率、偽陰性率、分析レイテンシー、セッション当たりのコストも公表しておらず、デモで示された95%という確率を一般的なキャリブレーションの根拠とみなすことはできない。

デプロイ上の制約も重要だ。現時点では、Gemini Enterprise Agent Runtime上でPython ADK 1.2以降を使用して構築されたエージェントのみを受け付け、Googleは2.1.0以降を推奨している。ログとObservability bucketは同一の米国マルチリージョン内に置く必要があり、tracing、Log Analytics、およびプロンプト入力と応答出力を含む生のmetadataを有効にしなければならない。これは、セキュリティチームが有効化に先立ち、データレジデンシー、機密性の高いプロンプト、保持期間、読み取り権限に対処する必要があることを意味する。今後は、カスタムビジネスルール、オフラインリプレイによる検証、第三者が比較に利用できる検知ベンチマークに注目すべきだ。

出典

  1. Agent Anomaly Detection, now in Private Preview on the Gemini Enterprise Agent Platform
  2. Agent Anomaly Detection overview
  3. OWASP Top 10 for Agentic Applications