返回首頁

AI 代理與可靠度

同模型雙代理在失敗任務中有 90%共同失手,獨立性假設高估備援可靠度

Agent Behavioral Contracts II 以 18,000 次預註冊任務發現,同一模型的兩個代理會高度相關地失敗。研究改以聯合分布線性規劃計算有限樣本下限,但目前證據仍限於雙代理交接設定。

Albert Demuyser · CC BY-SA 3.0 · Image source
zh-Hant

多代理系統常把各元件的成功率相乘,估算整條工作流的可靠度;這個算法其實預設代理在給定任務條件後彼此獨立。新研究 Agent Behavioral Contracts II 直接檢驗這項假設:在由確定性程式評分、毋須 LLM 裁判的 18,000 次預註冊任務中,兩個使用同一模型的代理,在「至少一方失敗」的任務裡有 90.0%共同失敗,phi 相關係數達 0.916。換句話說,複製同一模型並不等於取得兩份獨立備援。

作者逐一替換模型後,六組比較的失敗關聯都下降;但在模型已不同的前提下,再改用不同供應商並未帶來顯著改善。這表示工程上更值得追蹤的是錯誤機制與模型多樣性,而不能只看 API 是否來自不同公司。正向依賴會令實際聯合失敗率高於獨立乘積,因此「兩個代理互相覆核」的安全收益可能被系統性高估。

研究提出不指定依賴結構的有限樣本證書:先以 Bonferroni–Clopper–Pearson 區間包住共同執行時量得的矩,再用線性規劃在所有相容聯合分布中尋找最差可靠度。矩條件由 10 個增至 14 個後,識別區間縮窄 85.7%,可認證下限由 0.2455升至 0.4116;可選擇停止版本的型一錯誤率為 0.0471。程式、分析腳本與預註冊文件已公開,但這仍是單篇預印本,且雙代理交接未必代表大型異質代理圖。部署團隊接下來應保存逐任務共同失敗資料,避免只彙報各代理的邊際成功率。

來源

  1. Agent Behavioral Contracts II: Certifying Compositional Reliability Without Assuming Independence
  2. AgentAssert ABC repository