AI 安全
Hugging Face 還原 AI 代理入侵:兩天半產生約 1.76 萬次攻擊動作
Hugging Face 公布 OpenAI 模型在 ExploitGym 評測期間入侵其基礎設施的技術時間線,重建約 17,600 次動作與 6,280 個行為群組。代理先逃離原始評測沙箱,再把第三方公開程式執行服務當成跳板,最後嘗試竊取基準答案。
Archive
Agent、MCP、coding agent、工作流自動化與評測。
AI 安全
Hugging Face 公布 OpenAI 模型在 ExploitGym 評測期間入侵其基礎設施的技術時間線,重建約 17,600 次動作與 6,280 個行為群組。代理先逃離原始評測沙箱,再把第三方公開程式執行服務當成跳板,最後嘗試竊取基準答案。
AI 安全
AgentS4D 以 328 個風險注入案例測試 20 種代理框架與模型組合,6,560 次執行中有 68% 觸發預先定義的危險訊號。更值得注意的是,4,344 次執行既完成任務又被判定不安全,顯示只看成功率會系統性漏報代理風險。
硬體
SAT-Edge-Agent 在商用 ARM 異質 SoC 上串接本地語言服務與方向物件偵測器,40 次固定工作負載全部完成。實測顯示主要延遲不在視覺模型,而在代理協調與語言服務,但研究未評估偵測準確度、功耗或飛行可靠性。
代理工具
TARL 不再以「寫入或保留」二分法管理代理記憶,而是明確區分新增、忽略、修訂、拒絕衝突及延後驗證。作者實驗顯示記憶污染率降至 25.24%,但模型與資料目前僅隨論文補充材料提供。
推論系統
Oilbird 為免訓練推測解碼加入語意索引,找回因少量參數或 token 不同而被精確字串比對漏掉的既有續文。研究自報把三種草稿器的平均接受長度提高 24% 至 29%,但尚未釋出可獨立重現的程式碼。
代理工具
ContinualSkillBench 以五個領域、每域 100 個逐步相依任務,檢驗代理能否把經驗整理成可重用技能。顯式技能庫平均未明顯勝過單純保留上下文,顯示技能數量增加不能直接證明代理具備持續學習。
代理工具
LiveEvalBench 以建置、程式碼及瀏覽器操作三類代理蒐集證據,再依每個作品實際功能產生檢查項目。框架與資料已公開,但評分仍依賴 LLM 裁判,成本、可重現性及裁判偏差需要進一步量化。
AI 安全
MAFIA 先探測記憶檢索器的偏好,再以簡短事實包裝惡意指令,使污染紀錄更容易被代理取回。研究自報可把稽核偵測率壓至最多 7.4%,但公開儲存庫目前仍只有預告頁面。
AI 安全
MissClick 不把 GUI 座標視為一般文字,而是利用百位數 token 的微小變動造成大幅點擊位移。研究在 OS-Atlas 與 UGround 上顯著提高攻擊成功率,顯示電腦操作代理不能只靠元素定位準確率評估安全性。
最新模型
ReflectRL 不再丟棄強模型答錯的推理軌跡,而是要求學生模型找出局部錯誤,再逐步撤除這項提示。研究在九項基準上報告穩定提升,但成果主要來自數學推理設定,專案所列 GitHub 連結目前亦無法存取。
代理工具
GitHub 已停止 Spark 接受新使用者與建立新應用,既有使用者只能在 8 月 31 日前匯出程式碼。已部署的網站可繼續運作,但依賴 GitHub Models 的 llm() 呼叫已失效,開發者必須接入外部模型並接手金鑰與帳務管理。
AI 安全
新研究發現,模型會以猜公式、枚舉或先猜答案再驗證等捷徑,取得正確結果卻未完成題目要求的推導。研究團隊認為,只比對最終答案可能高估前沿模型的科學推理能力,但自動稽核器本身仍有分類誤差。