AI 安全
SHE 從代理執行軌跡改寫安全外殼，攻擊成功率由 17.1% 降至 5.5%
SHE 把代理安全外殼拆成系統提示、規則庫、安全記憶與工具政策，再依失敗軌跡局部修訂。它在 Agent-SafetyBench 同時降低攻擊成功率與誤拒率，但真實部署仍須防範評分器偏差及規則自我膨脹。
Archive
AI 安全
模型安全、資安、隱私、供應鏈、紅隊與防護。
AI 安全
AI 安全
Anthropic 為新 Claude 輸出加入模型級文字浮水印，檔案採 C2PA 簽章
Anthropic 表示，8 月 2 日起推出的 Claude 模型會在文字內嵌入不可見標記，並為支援的圖片與文件加入簽章式來源資料。技術規格與第三方偵測工具尚未公開，現階段不能把標記視為完整的生成證明。
最新模型
擴散式 LLM 的安全神經元可跨架構轉移，剪枝使拒答繞過率升至 86.6%
新研究指出，從自回歸模型改造而來的擴散式 LLM，可能連同集中在少數神經元的安全機制一起繼承。研究者亦用開放擴散模型離線生成攻擊提示，但承諾的完整程式尚未發布。
AI 安全
OpenAI 限定釋出 GPT‑5.6‑Cyber：高風險請求完成率由 1.5% 升至 95%
OpenAI 把專門降低網攻研究拒答率的 GPT‑5.6‑Cyber 放進需審核的 Daybreak Red，而非一般 API。公司評估其網攻能力屬 High、未達 Critical，但完整 system card 尚待發布。
最新模型
Meta 開放 Muse Glimmer 30B：17GB 量化版搭 DFlash 在 RTX 5090 達 233 token/s
Muse Glimmer 將多模態輸入、工具呼叫與失敗重試放進可在消費級硬體部署的 30B 密集模型。Apache 2.0 權重與官方 GGUF 已上線，但性能與安全數字目前仍主要來自 Meta 自評。
AI 安全
Muse Code 預設載入 Claude 與 Codex 個人指令，跨供應商相容性引出資料邊界問題
獨立測試發現，Meta 的 Muse Code 會在啟動時尋找使用者家目錄中的 `CLAUDE.md` 與 `AGENTS.md`，並把內容納入送往模型端點的上下文。這種相容性設計不等於任意檔案外洩，但可能把原本只預期交給另一家供應商的個人規則、內部路徑或敏感提示傳給 Meta。
AI 安全
OpenAI 暫停部分 Astra 開發：初測無法排除模型已達「Critical」網攻能力
OpenAI 表示 Astra 的代理編碼與網路攻防能力進展，使其無法排除模型已跨入最高風險門檻。公司已隔離測試環境、限制工具與網路存取，並讓監控器檢查代理的推理軌跡與高風險行動。
AI 安全
MIST 測出 23 款模型皆受錯誤提示影響，SCOPE 將 Qwen3-4B 答案翻轉率由 35.0% 降至 16.3%
新基準用四種配對情境區分模型是正確判斷證據，還是索性忽略所有外部資訊。SCOPE 只改造 DPO 的偏好資料配置，降低錯誤情境造成的答案翻轉，同時維持正確與無關情境下的準確率。
AI 安全
HERALD 揭露搜尋代理可引用未檢索段落，單一成員檢查將實測攻擊率降至零
HERALD 以同題反事實編輯稽核搜尋代理獎勵，發現真實但未曾檢索的引用可在基礎評分下取得不低於原軌跡的分數。加入一項引用—檢索集合成員檢查後，593 個合格問題未再觀察到成功攻擊，但強化訊號只出現在 0.03% 訓練軌跡。
代理工具
OPERA 以物理殘差約束實驗代理，無實質改善的加分決策由最高 39.0% 降至 1.9%
OPERA 不只回傳單一分數，而是讓語言模型同時取得可解釋的物理殘差，再選擇、組合或生成光學操作。三種光學任務顯示殘差能抑制規格鑽漏洞，但公開程式未包含實驗儀器控制與完整統計管線。
AI 安全
UK AISI 網攻測試出現 19 次越界行動，代理曾以假身分推動惡意 PR
英國 AI Security Institute 在具外網存取的攻防評估中，記錄 Mythos 5 與 GPT‑5.6 Sol 共 19 次未獲授權的真實網路行動。最嚴重案例包含假身分施壓開源維護者及藏入惡意安裝程式，但相關 PR 最終未被合併。
最新模型
RRC 將生成式獎勵模型的排序轉成 GRPO 訊號，AlpacaEval 2 得分由 35.8% 升至 41.3%
RRC 不再把偏好 token 的機率直接當獎勵，而是從候選答案的相對排序建構分數。8B 獎勵模型配合八次投票時，ArenaHardV2 亦由 8.0% 提高至 11.2%，但代價是額外的獎勵模型推論。