AI agent security
Google 以三層追蹤分析稽核代理行為,但異常偵測發生在工具執行之後
Gemini Enterprise Agent Platform 的 Agent Anomaly Detection 會非同步分析 OpenTelemetry 軌跡、工具參數與執行流程,再以輕量模型及 LLM 判斷異常。私有預覽不增加即時請求延遲,代價是它主要屬於事後偵測,且必須保存包含提示與回覆內容的原始遙測。

Google 將 Agent Anomaly Detection 開放私有預覽,嘗試補足傳統程式碼掃描及網路邊界工具看不到的代理行為風險。服務讀取 ADK 產生的 OpenTelemetry 日誌與跨整個工作階段的執行軌跡,檢查推理流程、工具呼叫、狀態與參數歷史,而不是只判斷最終文字回覆是否正常。
管線分成三層。第一層以統計與輕量機器學習模型掃描所有流量,找出呼叫量、重試或 token 消耗等離群工作階段;第二層才讓 LLM 對篩選後的完整軌跡產生威脅判定與自然語言理由;第三層可回溯單次工具執行和參數變化。預設偵測器對應 OWASP Agentic Top 10 的工具濫用 ASI02、身分與權限濫用 ASI03、連鎖失敗 ASI08、脫離角色的代理 ASI10,以及資源耗盡。結果會帶嚴重度與機率,送入 Security Command Center;應用也可透過 API 查詢某次工作階段的結果,由 ADK callback 或 plugin 在後續回合停止工具呼叫。
「不增加延遲」來自旁路非同步分析,而不是偵測成本消失。若代理已在目前回合匯款、刪除資料或外洩內容,稍後產生的 finding 無法撤銷首次動作;真正的即時阻擋仍需最小權限、工具層授權、速率限制及同步政策共同完成。官方也未公布誤報率、漏報率、分析延遲或每工作階段成本,示範中的 95% 機率不能當成通用校準證據。
部署限制同樣重要:目前只接受 Gemini Enterprise Agent Runtime 上以 Python ADK 1.2 以上建立的代理,官方建議 2.1.0 以上;日誌及 Observability bucket 必須位於同一個美國多區域,並啟用 tracing、Log Analytics,以及包含提示輸入與回覆輸出的原始 metadata。這代表安全團隊在啟用前必須先處理資料駐留、敏感提示、保留期限及讀取權限。接下來應觀察自訂商業規則、離線回放驗證,以及可供第三方比較的偵測基準。