Canary Tools、エージェントのツール選択ミスを6分類――8モデルの誘導されやすさに約36倍の差

一般的なツールエージェントの評価では「呼び出しが誤っている」ことしか示せず、モデルがツール名だけを見ているのか、必須パラメータを無視しているのか、あるいは誇張された能力説明に引きつけられたのかを区別できない。そこでCanary Toolsは、通常のMCPツールの横に、意図的に設計した6種類の誤った選択肢を追加した。セマンティック・デコイ、充足不可能なパラメータ・トラップ、能力の幻想、隠れた前提条件、旧バージョン、粒度の不一致である。各プローブが変更するのはツール契約の一側面だけであるため、エージェントがそれを選択すると、その誤りをより明確な推論上の弱点に対応付けられる。

研究では、5つのMCPサーバー、実環境を模した12種類のツール、120件のタスクを用いて8モデルをテストした。主要実験は、3段階のcanary密度と3種類のツール順序シードを組み合わせた計8,640回の実行で構成され、さらにプロンプト内の手掛かりを弱めたアブレーション実験を2,880回実施した。明示条件では、問題ごとのcanary susceptibility rateはClaude Opus 4.8の0.010からLlama 3.1 8Bの0.378まで、約36倍の差があった。注目すべき点として、能力階層は安全性の順位と一致しなかった。GPT-4.1の0.311は3つのフロンティアモデルを上回り、Gemini 2.5 Flashの0.041もGemini 2.5 Proの0.049をわずかに下回った。

プローブの種類によって明らかになる失敗も異なる。ホステッドモデルは「研究グレード」「より高性能」といった表現による能力の幻想に最も引きつけられやすかった。一方、2つの8Bオープンモデルは、古いデータ、使用不能なパラメータ、粒度の不一致のすべてに同時に陥る傾向を示した。誘導される割合とタスク成功率には負の相関があり、Spearmanのρは-0.34だった。誘導された全1,313回の実行のうち、正しいツールの呼び出しへ切り替えられたケースの成功率は52%だったのに対し、回復できなかったケースでは16%にとどまった。

この手法は、モデルのアップグレードやMCPツールの変更前に行う回帰テストへの導入に適している。MCP仕様自体も、クライアントがツールのアノテーションを信頼できるものと想定しないよう注意を促し、人間による確認と呼び出しログを残すことを推奨している。ただし、この実験では合成されたツール出力とLLM-as-a-Judgeを使用している。また、arXivのページには、公開済みとされるフレームワークおよびログのパブリックリポジトリがまだ掲載されていない。実際の権限設定、レイテンシー、不可逆な操作が存在する環境でも診断の妥当性が保たれるかは、今後の検証を待つ必要がある。