690件のエージェントスキルを実測：ハイブリッド検索のhit@5は73.5%、LLM知識グラフの追加で11.2ポイント低下

エージェントスキルライブラリが拡大すると、システムはまず、どの`SKILL.md`を読み込むかを決めなければならない。研究対象となった690件のスキルをすべてコンテキストに入れると、1回あたり約46,900 tokenが必要になるためだ。8月6日に投稿された[比較研究](https://arxiv.org/abs/2608.06196)では、2つのアプローチを検証した。1つは、BM25とMiniLMのベクトル類似度を融合するハイブリッドランキング器。もう1つは、Claude Haiku 4.5に各スキルの8つの埋め込み近傍を与え、prerequisite、data flow、orderingなど8種類の関係を生成させ、1,421本の型付きエッジからなるグラフを構築する手法だ。

スキル説明との語句の重複を意図的に避けた117件のクエリでは、ハイブリッドランキング器のhit@5は73.5%±8.0%だった。一方、ランキング結果の一部をグラフ近傍に置き換えると、候補数とtoken予算が同じ条件でも11.2パーセントポイント低くなり、その差は統計的に有意だった。原因は、グラフが全面的に誤っていたことではない。候補生成が、最初から同じ埋め込み近傍によって制限されていたためだ。1,022組の異なる型付きペアのうち98.6%は、すでに類似度グラフに存在していた。1,421本のエッジを追加しても、新しいノードへの接続や連結成分の統合は一切起きなかった。LLMは既存の接続に意味的なラベルを付けられるだけで、到達可能範囲を拡張できなかった。

この「事前フィルタリングによるトポロジー上限」は、失敗事例にも直接表れている。ハイブリッドランキング器が見逃した30問のうち73%では、1位の候補から出発しても3-hop以内に正解スキルへ到達できなかった。1位の推測が外れた場合、ランキング結果を続けて読み込む方法では48.3%を救済できたのに対し、グラフ近傍で救済できたのは25.9%にとどまった。また、システムの作者が作成したクエリでは、BM25のhit@5が44.2ポイントも過大になった。スキル説明の表現がクエリに反響する「エコー」が、評価を深刻に汚染することを示している。

これは、[Agent Skillsの段階的読み込み仕様](https://agentskills.io/specification)を採用するシステムにとって実用的な示唆を持つ。名前と説明は第1段階のリコールに適しているが、ワークフローグラフは、実際の共同利用ログ、人手で定義した依存関係、あるいは検索器とは異なる候補シグナルから構築すべきだ。もっとも、この研究で検証されたのは単一企業のスキルライブラリと117問のみであり、方向付き関係には依然として8.5%の矛盾があった。論文に記載された再現用リポジトリも現時点では公開アクセスできないため、数値については外部による追試が待たれる。