AI 安全與代理評測
SecRespond 重建入侵後鑑識流程，23 款模型無一完整偵測並修復單一靶場
SecRespond 讓安全代理分析遭入侵主機的唯讀磁碟快照，而非只在乾淨環境解攻擊題。23 款模型雖能重述告警，卻普遍漏掉未被告警揭露的植入物與修復驗證。
新公開的 SecRespond 把資安代理評測從「能否攻入系統」移到更貼近日常 SOC 的入侵後應變。研究團隊建立 10 個隔離靶場，涵蓋 CentOS、Ubuntu 與 Windows Server、4 類初始入口及 21 項 MITRE ATT&CK 技術；情境包括 Log4Shell、Docker API 暴露、惡意 npm 套件、RDP 密碼噴灑及 Web 應用 RCE。代理取得告警、弱點掃描、基線檢查與唯讀磁碟樹後，必須輸出調查進度、入侵報告、弱點報告、基線報告及修復計畫。
評測的技術重點是告警並非完整答案。靶場同時放入告警可見與「沉默」跡證，迫使代理主動搜尋服務、排程、帳戶後門、Web shell、憑證竊取與持久化機制。23 款模型統一透過 OpenCode 執行；論文報告，模型較能找到告警已指出的問題，卻沒有任何模型在任一靶場同時完成完整偵測與修復。這表示資安知識問答或 CVE 辨識能力，不能直接外推為端到端事件處理能力。
程式庫已公開提示、逐靶場檢查表、執行腳本與結構化分數格式，磁碟資料則另由 Hugging Face 配送。工程團隊可藉此測試自己的模型、工具權限與報告管線，但應注意分數由三款 LLM 依檢查點評判；三者雖有 72% 至 75% 的逐項一致率，仍可能共享偏誤。此外，所有主機與跡證均為受控合成資料，不包含真實企業噪音、跨主機橫向移動及高壓應變協作。下一步值得觀察的是人工分析師基線、重複執行穩定性，以及修復指令能否在隔離副本上接受可執行驗證。