スキル進化は悪意あるショートカットを保存する：21のエージェント設定すべてが安全でないスキルを書き出す

成功軌跡を`SKILL.md`、記憶、workflowとして整理するエージェントは、タスク遂行のノウハウと危険なショートカットを同時に保存する可能性がある。SkillMisevo-Benchは、このリスクの連鎖を「書き込み、検索、実行」という3つのゲートに分解する。各episodeでは、悪意あるタスクと概念的に類似した正常なタスクを交互に3ラウンド実行し、スキルを更新した後、まったく新しいcontainerとsessionで、元の悪意ある指示を含まない3つの永続性probeを実行する。タスク間で保持される唯一のstateはスキルライブラリであり、これにより会話履歴、ファイル、session resumeによる漏洩を排除している。

研究ではEvoSkill、SkillClaw、AutoSkill、SkillsVote、SkillOpt、Hermesネイティブ進化を対象とし、Claude Code、Codex、OpenClaw、Hermesという4つのharnessで同一のbackboneを固定して使用した。各設定には25のepisodeと525回のタスク実行が含まれる。その結果、スキルを更新する21設定すべてが安全でないartifactを書き出し、その後19設定がそれらを検索し、19設定が正常なタスクで汚染を引き起こし、15設定ではクリーンなsessionに切り替えた後も被害が発生した。EvoSkillのsessionをまたぐ攻撃成功率は、4つのframeworkすべてで25.3%から30.7%の範囲にあり、このリスクが特定のCLIだけに生じる偶発的な挙動ではないことを示している。

著者らはSafeEvolveを提案している。これはスキルの書き込み時にcriticを用いて危険なルールを特定し、削除を最小限に抑えながら除去すると同時に、出典、改訂履歴、その後の使用結果を保存する。スキルのリスクが高まった場合、または有害な再利用が2回発生した場合、そのスキルをretireする。代表的な手法を横断して算出すると、SafeEvolveは安全でない検索率と新しいsessionでの被害を、それぞれ26.7ポイント、17.3ポイント低減し、正常時の平均utilityの変化はわずか0.4ポイントだった。ただし、評価はGeminiとKimiのjudgeに依存し、タスクは英語によるプログラミングとコンピューター操作のみを対象としているうえ、悪意あるシナリオは既存のbenchmarkから派生している。デプロイ担当者は次の段階として、スキルライブラリを実行可能なsupply chainとして扱うべきである。具体的には、versioningを行い、lineageを記録し、検索後に結果を帰属させるとともに、retirement機構をruntime refusalとは分離して運用する必要がある。