返回首頁

模型評測與安全

英美聯合評測:Kimi K3 可完成模擬企業入侵,但 41 次漏洞利用均未達任意程式碼執行

UK AISI 與美國 CAISI 的初步測試顯示,Kimi K3 在 ExploitBench 得分 32%,高於 GLM-5.2,卻明顯落後受測的美國前沿模型。模型也曾完成一次 32 步模擬企業攻擊,但評測條件與樣本有限,不能直接推論真實世界的攻擊成功率。

Internet Archive Book Images · No restrictions · Image source
zh-Hant

英國 AI Security Institute 與美國 Center for AI Standards and Innovation 公布 Kimi K3 的聯合資安能力初評。評測使用 ExploitBench 的 41 項漏洞利用任務,以及名為 The Last Ones(TLO)的模擬企業網路。結果顯示,Kimi K3 在 ExploitBench 取得約 32%,高於 GLM-5.2 的 24%;但它在 41 個樣本中沒有一次完成最高階的任意程式碼執行,受測最強模型平均則完成 20 個。

ExploitBench 並非只判斷最終成功或失敗,而是把瀏覽器漏洞利用拆成覆蓋、觸發崩潰、建立讀寫原語、控制流程與任意程式碼執行等階段。32% 因而代表 Kimi K3 能在部分攻擊鏈取得進展,不等於成功入侵 32% 的目標。這也解釋了它為何能找到方向,卻未能把中間原語穩定組裝成完整 exploit。

在 TLO 的 32 步攻擊路徑上,Kimi K3 平均走到第 17 步,10 次嘗試中有一次在一億 token 上限內完成全程;GLM-5.2 平均為第 11 步,領先模型平均達第 28.5 步。Kimi K3 的內建防護亦未阻止測試中的漏洞開發或進攻操作,這對預計開放權重的模型尤其值得注意,因為部署者不能依賴供應商端拒答作為主要安全邊界。

這份報告仍屬初步結果。Kimi K3 因託管條件只接受選擇性測試,其整體能力估計主要來自單一 ExploitBench,而其他模型使用更廣的任務集;美國閉源模型又是在停用系統級防護後評測。TLO 沒有主動防禦者、告警代價或隨機化網路,也刻意保留可行攻擊路徑。工程師接下來應關注權重釋出後的獨立重現、不同代理框架與 token 預算對結果的影響,以及漏洞發現能力和端到端利用能力之間是否持續存在落差。

來源

  1. UK AISI / CAISI Preliminary Assessment of Kimi K3's Cyber Capabilities
  2. ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents
  3. Kimi K3 Tech Blog: Open Frontier Intelligence