CAM-DF、エージェントのツールランキングをコスト考慮型の停止判断へ転換し、ツール露出を37%削減

ツールルーターは通常、検索、データベース、コネクターについて関連性スコアを算出した後、固定のtop-kを選ぶか、しきい値で打ち切る。しかし、この手法では、ツールごとに異なるレイテンシー、金銭的コスト、コンテキスト使用量、データ露出リスクが同時に考慮されない。7月29日に提出された研究は、この問題を「ランキングされたプレフィックスに対するコスト考慮型の停止判断」として再定式化し、CAM-DFと、より解釈しやすいCAM-DF-liteを提案した。

学習時、システムは候補となる各プレフィックスについて、「今停止する」場合と「事後的に最適な位置まで継続する」場合の効用差を計算する。その差の正負を停止ラベルとし、差の大きさを用いて高コストな誤判定の重みを増やす。したがって、モデルが学習するのは、ツール集合が十分に見えるかどうかではなく、次のツールの期待価値がそのコストを相殺できるかどうかである。また論文は、ツールコストが異質な場合、関連性スコアだけに基づく単調なしきい値打ち切りでは、一般に最適な判断を復元できないことを証明している。

研究は5つのツール利用領域にわたる計1,343件のタスクを対象とした。τ-bench Retailでは、CAM-DFは5種類の上流ランカーと2種類のコスト設定のすべてで、「まず十分性を予測し、その後しきい値を適用する」ベースラインより高い効用を示した。この優位性は、コスト圧力が高い場合やランカーの性能が低い場合に、より顕著だった。エンドツーエンドの実行では、エージェントが接触するツール数は全件読み込みと比べて37%減少した一方、観測されたタスク成功率はおおむね同等だった。これは、大規模なMCPや企業向けコネクターのカタログで特に重要である。読み込むツールを減らすことは、tokenを節約するだけでなく、モデルが目にする機密性の高いschema、説明、パラメーターの範囲も縮小する。

ただし、現在のCAM-DFは、実行前に既定のランキングに沿ってプレフィックスを選択するだけで、ツールの返却内容に基づいて次のステップを再評価することはまだできない。また、オフラインの効用ラベルと人手で設計したコスト関数にも依存している。論文には独立したライブラリが付属しておらず、一部の実験ではτ-benchが引き続き使用されているが、このベンチマークの元のタスクは後に改訂された。エンジニアリングチームは今後、新版タスク、実環境のレイテンシー、権限コストの下でこの手法を再現できるかを検証するとともに、ツールを呼び出すたびに更新可能な逐次意思決定器へ拡張すべきである。