JailbreakSkill、脱獄戦略を進化可能なスキルとしてカプセル化し、HarmBenchのASRをさらに13.4ポイント向上

自動レッドチーム・ツールでは通常、脱獄手法がプロンプト、メモリ形式、または特定のワークフローに埋め込まれており、新しい攻撃技術を独立して差し替えたり再利用したりすることは難しい。[JailbreakSkillの論文](https://arxiv.org/abs/2608.16465)では代わりに、スキルを実行と進化の単位として採用している。各スキルでは、`SKILL.md`に適用条件と手順を記述し、JSON-over-stdio経由で呼び出すプログラムを添付することもできる。

フレームワークは2段階に分かれる。第1段階では、Base64、文字撹乱、言語横断マスキング、コード補完、ロールプレイ、物語的再構成を含む16種類の初期書き換えスキルを提供する。プランナーはリスクカテゴリー別に各スキルの連続的な判定スコアを管理し、upper confidence bound（UCB）を用いて、未知のスキルの探索と、既に強みが確認されているスキルの優先利用とのバランスを取る。元のプロンプトごとにターゲットモデルへ最大10回問い合わせ、初めて成功した時点で停止する。

それでも突破できなかったケースは、書き換え内容、モデルの応答、評価とともに失敗メモリへ保存される。第2段階では、まずリスクカテゴリー別にグループ化して共通の失敗パターンを分析し、既存スキルの改良、複数メカニズムの統合、新しい手順の発見のいずれかを選択する。候補スキルは、以前失敗したケースを少なくとも1件解決しなければスキルライブラリに登録されず、登録後はカテゴリーをまたいで再利用できる。これにより、システムには一度限りの成功プロンプトではなく、実行可能な手順が蓄積される。

著者らは、AdvBenchの520問とHarmBenchの400問を用いて、オープンモデルとクローズドモデル計8種をテストした。第1段階のマクロ平均ASR@10は、それぞれ72.0％と68.1％だった。総合的に最も強力なベースラインであるTAPは、それぞれ70.9％と54.6％だった。スキル進化を加えると、平均ASRはさらに17.5ポイントと13.4ポイント上昇した。GPT-5.4では、AdvBenchにおける増加幅が48.6ポイントに達した。UCBによる順位付けは、1問当たりのターゲットモデルへの平均問い合わせ回数も4.14回と4.63回に抑えており、ランダムな順位付けの5.98回と6.24回を下回った。

[オープンソース実装](https://github.com/BattleWen/JailbreakSkill)には、3種類のデータセット、スキルレジストリ、問い合わせ予算の制限が含まれる一方、攻撃的な変換も直接提供されているため、導入は認可された環境に限定する必要がある。さらに重要なのは、成功の可否と有害性の程度が主にGPT-4oによる判定で決まり、進化処理にはClaude Sonnet 4.5が使用されている点だ。結果は、判定モデルのバイアス、プロバイダーによるモデル更新、高額な補助推論コストの影響を受ける可能性がある。防御側は、永続化可能なスキルによって、一度の脱獄経験がモデルやセッションをまたぐ攻撃能力へ転換されるかどうかに注目すべきである。