SAILS、バックドア攻撃の成否はポイズニングサンプルの組み合わせ次第と示す――ランダムサンプリングでは最悪リスクを過小評価する可能性

9月14日に公開された『Pick Your Poison』は、バックドア研究で一般的な評価手法に疑問を投げかけた。その手法では、ポイズニングサンプル数を固定したうえで候補プールから複数の集合をランダムに抽出し、平均攻撃成功率をモデルのリスクとして用いる。研究チームは、3種類のLlama 3 8B指示バックドア設定において、モデル、クリーンデータ、ポイズニング数がまったく同一でも、選択するサンプルを変えるだけで攻撃成功率が3%から80%まで変動することを確認した。つまり、ランダムサンプリングで測定されるのは平均的なケースにすぎず、探索能力を持つ攻撃者が到達し得る最悪ケースではない可能性がある。

研究ではSAILSを提案し、この問題をoracle予算の制約下における集合最適化として定式化した。システムはまず、ランダムなポイズニング集合に対して少数の完全な「ファインチューニング—トリガーテスト」を実行し、高コストだが直接的なラベルを取得する。続いて、集合内の生テキストを使って軽量な集合スコアラーを学習する。各ラウンドでは、スコアラーが数十万から数百万の候補集合を低コストで順位付けし、上位のごく少数だけを完全なファインチューニングoracleに戻して検証する。その結果を用いてスコアラーを再調整する。このpropose、score、auditのループは、複数のサンプルが同時に含まれる場合の相互作用を捉えられる点で、サンプルごとの勾配やinfluence scoreを計算して上位k件をそのまま選ぶ手法とは異なる。

論文によると、SAILSは学習に使用していない集合において、最も強力なinfluence baselineよりも攻撃成功率を平均30パーセントポイント向上させ、小規模な探索から完全なファインチューニング設定への転移にも成功した。著者らはさらに、この手法をQwen3-4Bによる自然言語からshellコマンドへの変換、WebShopのマルチターンエージェント、ホスト型APIを通じて候補データを生成するシナリオにも拡張した。公開リポジトリには、LoRAファインチューニング、held-out ASR評価、TRAKやSGDなどのベースラインに加え、再実行可能なデータと設定が含まれている。

ただし、これはあらゆるファインチューニングデータが少数のサンプルによって侵害され得ることを証明するものではない。結果は、指定されたトリガー、制御された候補プール、少数のモデルに限られている。また、集合スコアラー自体も数百回のファインチューニング評価に依存しており、完全な実験ではoracleの各実行にH100上で約30～60分を要する。責任ある公開の観点から、著者らは事前に構成したポイズニング集合や、バックドアを埋め込んだ重みを提供していない。防御側にとってより直接的な示唆は、データ監査とレッドチームテストでは集合間の分布と探索後の極値を報告すべきであり、ランダムなポイズニングの平均値だけに依存してはならないという点だ。