返回首頁

代理系統與工具路由

CAM-DF 把代理工具排序改成成本停止決策,工具暴露量減少 37%

新研究指出,相關性排名只能決定工具順序,無法回答代理應載入多少工具。CAM-DF 直接學習繼續載入的邊際收益,在維持相近任務成功率下減少 37% 工具暴露。

USAF (Released to Public) · Public domain · Image source
zh-Hant

工具路由器通常先為搜尋、資料庫與連接器計算相關性分數,再取固定的 top-k 或以門檻截斷;但這種做法沒有同時考慮每項工具不同的延遲、金錢成本、上下文占用與資料暴露風險。7 月 29 日提交的研究將問題重新表述為「排序前綴上的成本感知停止決策」,提出 CAM-DF 與較易解釋的 CAM-DF-lite。

訓練時,系統對每個候選前綴計算「現在停止」與「繼續至事後最佳位置」之間的效用差。差值正負成為停止標籤,幅度則用來提高高代價誤判的權重;因此模型學習的不是工具集合看起來是否足夠,而是下一項工具的預期價值能否抵銷其成本。論文並證明,在工具成本異質時,僅依相關性分數單調截斷一般無法恢復最佳決策。

研究涵蓋五個工具使用領域、共 1,343 項任務。在 τ-bench Retail 上,CAM-DF 對五種上游排名器及兩種成本設定,效用皆高於「先預測充分性、再套門檻」基線;優勢在成本壓力較高或排名器較弱時更明顯。端到端執行中,代理接觸的工具數比全量載入少 37%,觀察到的任務成功率則大致相當。這對大型 MCP 或企業連接器目錄尤其重要:少載入工具不只節省 token,也縮小模型看見敏感 schema、說明與參數的範圍。

不過,CAM-DF 目前只在執行前沿著既定排名選擇前綴,尚不會根據工具回傳內容重新評估下一步,也依賴離線效用標籤與人工成本函數。論文未附獨立程式庫,且部分實驗沿用 τ-bench;該基準的原始任務後來出現修訂。工程團隊接下來應觀察方法能否在新版任務、真實延遲及權限成本下重現,並擴充為每次工具呼叫後都可更新的序列決策器。

來源

  1. Scores Are Not Decisions: Cost-Aware Stopping for Tool Acquisition in LLM Agents
  2. τ-bench: Code and Data for Tool-Agent-User Interaction