MaliciousSkillBench、9,740件のエージェントスキルを集約――ソース横断検出でMacro-F1が0.665に低下

エージェントSkillは単なるプロンプトテキストではなく、スクリプト、リソース、サービス設定を含む場合もある。マーケットプレイス、リポジトリ、チームテンプレートを通じて配布されれば、ツールの権限や実行フローに影響を及ぼし得るサプライチェーン上のインターフェースとなる。8月20日に公開されたMaliciousSkillBenchは、こうしたリスクを個別の事例から、比較可能な検出問題として体系化することを目指している。

研究チームは13の公開ソースからデータを収集し、8,414件の悪意ある生レコードを正規化して7,539件の一意なアイデンティティにまとめ、さらに構造的類似性に基づいて4,588のファミリーに分類した。ラベルが競合していると保守的に判定されたデータを除外した結果、主要ベンチマークには悪意あるサンプル7,505件と良性サンプル2,235件、計9,740件のSkillが含まれる。データセットには、ランダム分割、構造非重複分割、ソース非重複分割という固定の分割方法が用意されている。後者2つは特に重要だ。ランダム分割だけでは、分類器が同じ悪意あるテンプレートの書き換え版を記憶しているにすぎない可能性があるためだ。

結果からは、明確な汎化性能の差が浮き彫りになった。最高性能のword-level TF-IDF SVMは、ランダム分割で0.932のMacro-F1を達成し、構造非重複分割でも0.916を維持したが、まったく未知のソースに切り替えると0.665まで低下した。悪意あるサンプルの95.6%を検出できた一方、その代償として良性Skillの62.4%を悪意あるものと判定した。3種類の既製スキャナーは対照的な結果を示した。一部のツールは誤検知率を約1%まで抑えられたものの、悪意あるサンプルの再現率は2.5%、またはゼロにまで低下し、単独でインストールゲートとして機能させることはできなかった。

公開データでは、9,735件の完全な静的テキストがCC BY 4.0で提供されている。機密性の高い認証情報を含む5件のサンプルについてはサニタイズ済みバージョンのみが公開され、実行可能な付随パッケージは含まれていない。そのため、このベンチマークは静的な事前スクリーニングの評価には適しているが、サンドボックス内におけるSkillの動的挙動を表すものではない。また、攻撃分類が付与されているのは悪意あるアイデンティティ4,983件に限られ、データの構成比やソースラベルの品質が全体の指標に影響している可能性もある。エンジニアリングチームはソース非重複テストを重視し、静的スキャン、最小権限、署名済みソース、ランタイム監視を組み合わせた多層防御を構築すべきだ。