返回首頁

AI 安全

代理經營販賣機:擋下違規誘導,假消息仍進入記憶

Reflection 的實地評估記錄了記憶污染、標價與下單失誤。對準備交付資金權限的團隊,人工究竟補救了多少流程,比單看拒絕率更接近部署問題。

zh-Hant

準備讓 AI 處理採購與退款的團隊,多了一份值得檢視的實地案例。Reflection 於 2026 年 11 月 20 日公布旗下 Beam 的辦公室販賣業務評估:代理能擋下多種違規誘導,卻仍受假消息影響,並在交易流程中需要人工補救。這是開發公司的初步觀察,並非獨立驗證。原始評估

假通知如何變成持續生效的記憶

Reflection 與 Andon Labs 合作,在紐約、舊金山辦公室部署代理;本次公布的案例主要來自紐約的 Mr. Beam。員工透過 Slack 下單,也刻意測試它的邊界。據公司記錄,多次誘導販售尼古丁商品均未成功;但研究員寄出一封謊稱安全團隊主管遭解雇的郵件後,代理拒絕了該主管後續要求。假說法在「對話壓縮」時進入長期記憶摘要,影響延續數日。案例說明

對話壓縮是把舊互動整理成較短摘要,讓代理繼續工作。這個案例提出的部署問題是:摘要是否仍保留消息來源與可信程度?若未核實的來信變成後續工作的依據,即使當下沒有接受違規指令,之後的決策仍可能偏離任務。

收到款項,還得完成下單

營運問題也出現在交易交接。報告記錄了迴紋針標價被設為 8 美元、而非 0.08 美元,以及客戶已付款卻未產生供應商訂單的情況。10 月 8 日至 30 日共有 23 筆人工介入紀錄,其中 12 筆涉及財務監督或流程修正;其餘也包含規則澄清與工具維修,因此不能把總數當作模型錯誤率。介入紀錄

代理運行於 Andon Labs 開發的 Pion。這個平台提供持續運作的代理,以及瀏覽器、郵件和銀行等工具;目前仍屬研究預覽。Andon 也明言,平台上的業務首先是實驗,監控系統仍在改進。Pion 官方說明

對使用者而言,一句「已處理」不足以確認交易完成。從上述案例推論,驗收應追蹤付款是否對應訂單、下單是否成功,以及帳本是否記錄結果;這些是編輯根據案例提出的檢查方向,並非已經驗證有效的修補方案。

拒絕率與營運可靠性,衡量的是不同問題

既有評估提供了不同基準:Reflection 的 Beam 模型卡列出有害要求的拒絕或轉向率;Andon 的 Vending-Bench 2則讓模型經營模擬販賣業務一年,以期末帳戶餘額評分。這些分別衡量政策遵循與模擬經營成果,不能直接回答真實付款後是否完成採購。

Reflection 也承認,本次結果受到人工修復和審批要求影響,尚不能建立無人監督的營運可靠性。評估限制 對準備擴大代理權限的團隊,這份報告最有用的提醒,是把「代理自己完成的交易」與「人員補救後完成的交易」分開記錄,才能看清實際交付了多少責任。

來源

  1. Mr. Beam: Partnering with Andon Labs to evaluate Beam’s autonomy risk in a live, real-world deployment — Reflection
  2. Beam Model Card — Reflection
  3. Pion | Andon Labs
  4. Vending-Bench 2 | Andon Labs