ホームへ戻る

代理資料集與評測

Cohere ATE、約70万件のMCPツールを職業タスクと照合——エンドツーエンドで完遂可能と判定されたのはわずか2.6%

Cohere LabsはAgentic Task Ecosystemを公開し、7つのディレクトリから集めた696,291件のツールを米国のO*NET職務タスクと照合した。その結果、多くのMCPはワークフローの一部しか担えないことが示された。ただし、2.6%という数値はセマンティックマッチングとモデル判定に基づくものであり、実際の実行テストに合格したツールの割合とはみなせない。

Daniel sebit · CC BY-SA 4.0 · Image source
zh-Hant

Cohere Labsは9月3日、Agentic Task Ecosystem(ATE)を公開した。これは、2026年5月に7つの公開ディレクトリから収集した696,291件のツールと123,069台のMCPサーバーを整理し、ダウンロード可能なParquetデータとして提供するものだ。チームはまずディレクトリを横断して重複を排除し、各ツールについて最も類似する米国O*NETのタスク記述を検索。そのうえで言語モデルに、各マッチングを「完全に実行可能」「一部のステップのみ支援」「誤ったマッチング」に分類させた。データセットには、ツール名、説明、職業、SOCコード、コサイン類似度、判定理由、品質ラベルも収録されており、研究者が独自の条件で再フィルタリングできる。

ATEの厳格な定義では、O*NETのタスクを最初から最後まで完遂できると判定されたツールは、全体のわずか2.6%だった。データの照会、メッセージ送信、単一ステップの処理だけを行うツールは、完全な自動化とはみなされない。適切にマッチしたツールは1,380種類のタスク記述をカバーしており、ソフトウェアで実行可能なタスクの約15%に相当する。923種類の職業のうち、419種類には対応するツールがまったくなかった。理論上のAIエクスポージャーと実際のMCPカバレッジは、178種類の職業において0.54の相関を示したが、ツール数だけでは、対象が定型業務なのか専門職の中核業務なのかは判断できない。

このデータセットの重要性は、エージェント向けツールの供給側について検索可能なスナップショットを提供し、MCPエコシステムにおける重複開発、機能ギャップ、職業別の分布を研究できる点にある。一方で、ダウンロード数、実運用への導入状況、成功率、安全性、長期タスクのテストに関する情報は含まれていない。また、ツールの説明が実装能力を誇張している可能性もある。最近傍検索と言語モデルによる判定では、依然として無理のあるマッチングが生じうるうえ、人手による検証も一部の分類に限られている。エンジニアリングおよび研究チームにとって次の課題は、実行可能なMCP適合性テスト、バージョン情報、利用テレメトリーを追加し、日本語を含む各地域向けの職業タスクオントロジーを構築することだ。そうしなければ、2.6%という数値は特定の分類規則に基づく供給指標としか解釈できず、エージェントがすでに代替可能な仕事の割合を示すものにはならない。

出典

  1. Automation’s Early Footprint: Where AI Agents Are (and Aren’t) Being Built
  2. Agentic Task Ecosystem dataset