AI 安全
凍結的 Qwen3-8B 也會產生「能力擴張」,研究要求自我改進評測加入實測虛無基線
新研究發現,單次貪婪解碼與不穩定門檻可讓完全未訓練的模型看似獲得或失去能力。改用逐題精確檢定後,三種自我訓練只穩定強化既有能力,未能證明取得基礎模型從未觸及的新能力。
Archive
模型安全、資安、隱私、供應鏈、紅隊與防護。
AI 安全
新研究發現,單次貪婪解碼與不穩定門檻可讓完全未訓練的模型看似獲得或失去能力。改用逐題精確檢定後,三種自我訓練只穩定強化既有能力,未能證明取得基礎模型從未觸及的新能力。
代理工具
Salesforce 推出 Slack Code,讓團隊從對話直接建立專案專屬 Code Channel,並共同監看、修正及核准代理產生的程式碼。首波串接 Claude、Devin、GitHub Copilot、ChatGPT 與 Vercel 代理,但安全隔離、權限粒度及 API 細節仍未完整公開。
最新模型
新研究毋須對完整多模態模型反向傳播,只調整輸入影像,使視覺編碼器的表示偏離原圖或逼近指定目標。四款開放 VLM 的非定向攻擊成功率均逾 93%,但評分依賴單一 LLM 裁判,且尚未測試黑箱轉移能力。
AI 安全
新研究把代理間未寫入對話紀錄的連續向量,與其後公開動作綁定至同一事件,再以異常、反事實影響及稀疏特徵三層檢查。平均 0.993 的結果混合了文字與潛在串通樣本,且攻擊由研究者預先設計,尚不能視為對自發密謀的通用偵測能力。
AI 安全
PACE 不要求語言模型自行判斷交易是否安全,而以確定性規則檢查交易意圖、模擬結果及實際 calldata。簽署後的政策決策紀錄由智慧帳戶在執行前重驗,但目前零失敗結果只來自簡化 DeFi 沙盒。
AI 安全
Google DeepMind 研究讓同一個 Gemini 策略分別扮演解題者與批評者,再由較弱的凍結模型裁決。辯論維持裁判辨別力並追回約 45% 的 RLVR 差距,但代價是更多訓練步驟與受限制的批評篇幅。
AI 安全
新研究把評測前移至病人尚未清楚描述問題的首次接觸階段。加入「先釐清、後建議」的系統指令改善回應順序與交接摘要,卻仍未可靠問出決定性病史。
代理工具
新評測以 73 項駕駛艙異常任務測試代理能否觀察狀態、操作系統並全程遵守硬性安全限制,而非只回答航空知識題。GPT-5.6 Sol 的成功率最高,但相近的知識分數與任務成功率並不一致,顯示靜態問答不能替代互動安全測試。
代理工具
新評測要求模型僅憑論文發表前已存在的參考文獻,反推出被隱藏論文的核心研究構想。四模型交叉評審與瑞士制選拔提高匹配率,但候選數、裁判群與計算量均未與單模型條件對齊。
AI 安全
新研究以加性 log-odds 模型量度改寫、錯字、動物名稱及 JSON 欄位的微弱偏向,再把同方向線索組合成提示。部分最佳化提示可跨模型轉移,但目前實驗集中於人工設計的二元選擇題。
AI 安全
CompoSkill 把技能安全從單一套件判定改寫成跨技能資料流與副作用的路徑問題。其 1,140 筆測試中,白箱及黑箱攻擊形成風險鏈的最高比例分別達 83.3% 與 80.6%,但這不等同真實入侵成功率。
AI 安全
新研究發現,多款 guard model 與 activation probe 刪除、打亂或替換規則後,判斷準確率幾乎不變。專為排除文字捷徑而建的交叉測試中,快速偵測器接近隨機,只有逐步推理模型明顯恢復規則與情境的組合能力。