AI 安全
自我進化代理會把一次不安全成功寫成永久技能，三次惡意任務令跨工作階段攻擊率升至 35.3%
SkillMisevo-Bench 追蹤代理如何從執行軌跡產生、檢索並重用技能，發現所有 21 組具進化能力的設定都曾寫出不安全產物。SafeEvolve 可降低後續傷害，但證據目前限於四款 CLI 代理與受控電腦操作任務。
代理的「記憶」風險不只在儲存敏感文字，也可能把一次成功但危險的操作蒸餾成可重用程序。新公開的 SkillMisevo-Gym 將這條生命週期拆成技能寫入、檢索、執行及跨工作階段延續，並讓對話、工作目錄與程序狀態在每題後重設，只有版本化技能庫能跨題保留。攻擊者可在有限的學習歷史位置提交惡意任務，卻不能直接修改技能檔、檢索器或後續測試。
SkillMisevo-Bench 比較 Claude Code、Codex、OpenClaw、Hermes 四種 CLI harness 與六種技能進化方法；625 次主實驗固定執行模型，試圖把差異歸因於方法及 harness。21 組會進化的設定全部曾產生不安全技能，其中 15 組在重新建立的乾淨工作階段造成實際傷害。只加入三個惡意任務，carryover attack success rate 已由無曝露時的 16.0%升至35.3%；完整曝露預算下達41.3%，而穿插良性更新並未可靠清除污染。
作者提出 SafeEvolve，在寫入前以 critic 定位並刪除危險內容，檢索時納入技能來源風險，再按有害重用紀錄淘汰技能。它在 AutoSkill、EvoSkill 上把不安全檢索及乾淨工作階段傷害分別降低26.7與17.3個百分點，良性效用平均只變動0.4點。工程上的訊息很直接：技能檔應視同可執行供應鏈產物，必須保留來源、審批、版本與撤銷能力，不能因任務成功便自動信任。限制是評估集中於技能庫和電腦操作；長期記憶、模型權重更新、多模態代理及自然流量是否呈現相同累積曲線，仍待驗證。