所有文章 · SURL AI News

Claude 自動後訓練緩解十類對齊失敗，但已知評測仍可能被最佳化

Anthropic 的自動對齊研究代理可自行查文獻、設計資料及後訓練模型，在十類安全問題上關閉 26% 至 96% 的評測差距。結果亦優於受限的人類提案基線，但比較給代理更長迭代時間，且只能證明可量測失敗的修補能力。

Pandex 發現企業的 AI 導向文件含有數百個指向未註冊套件或網域的安裝指令，Claude、Codex、Hermes 隨後在真實企業環境執行研究人員設置的信標。問題不在 llms.txt 格式本身，而是代理把可信文件直接升格為可執行命令，繞過套件所有權與來源驗證。

Google DeepMind、MLCommons 等機構把 Gemini 2.5 Flash Lite 與未公開安全題庫送入同一個可驗證安全飛地，雙方只能取得受限結果。這套設計降低基準污染風險，但信任仍落在硬體根金鑰、可信運算基礎與跨機構程式碼審查上。

Anthropic 在 2.1.248 restricted 模式後，再修補五類檔案、外掛與設定信任邊界問題。新版同時開放模型切換 hook 與 prompt cache 指標，讓企業閘道可攔截切換並追蹤重新快取成本。

Z.ai 在 API 上線兩週後釋出 GLM-5.3 權重，模型沿用 GLM-5.2 基礎架構，能力增益主要來自代理式程式設計與資安後訓練。FP8 檔案仍約 756GB，加上自訂授權與廠商主導評測，實際採用前需另做效能、安全及法律驗證。

新研究發現，無法預測的問題只要配上權威感十足的數據面板，LLM 代理便更容易作出方向性決策，即使全部數字都是捏造。以 540 筆合成案例微調可暫時修正行動閘門，但強制輸出格式會令效果失效。

Anthropic 將瀏覽器代理推向所有付費方案，使用者可一次核准計畫，讓 Claude 跨分頁點擊、輸入及執行工作流程。每個自主動作會再經安全分類器審查，但官方測試仍有 0.3% 攻擊成功率，畫面截圖也可能帶入敏感資料。

北航團隊不再只問文字是否由 AI 生成，而是分別判斷內容構思與表面表達的來源。系統在重建的 MixD2C 測試集領先同資料切分的 RACE 重跑，但跨資料集泛化與完整重現仍有限。

新研究指出，逐軌跡重設的 guardrail 無法辨識被拆散到多次迭代的攻擊證據，單純讓風險分數隨時間衰減亦可被等待繞過。LoopHarness 在作者控制的 1,000 個攻擊 episode 中保留 96.9% 乾淨任務完成率，但結果尚待獨立重現與真實系統驗證。

新研究發現，子代理、持久目標與排程任務可能把工具輸出重新包裝成高權限使用者指令。攻擊在六款代理上涵蓋全部 13 類目標，啟用自動權限審查仍未阻擋受測路徑。

Atlas 公開 Qwen3.8-27B-NVFP4 的可重跑測試，在 DGX Spark 的 1 至 128 路併發均領先 vLLM。結果只涵蓋單一模型與短輸入、長輸出負載，尚不能推廣至一般資料中心部署。

AWS 提出在模型輸入、工具參數與工具輸出分別呼叫 Bedrock Guardrails，填補只檢查提示詞與回答的空隙。範例可按工具套用不同規則，卻未公布延遲、誤判率或對結構化動作的安全評測。