Speculative Probing、MTPドラフトヘッドを再利用し、少数のソフトプロンプトでリアルタイムLLM安全監視を実現

プロンプトインジェクション、有害コンテンツ、推論ループをリアルタイムで検査するには通常、低コストだが情報量の限られるhidden-state probeと、Llama Guardのようなモデルを別途実行する方式との間でトレードオフが生じる。Cornell Techのチームが提案したSpeculative Probingは、代わりにQwen3.5のmulti-token prediction（MTP）ヘッド、またはMiniCPM4.1のEagle3ドラフトヘッドを分類に利用する。入力末尾に1～5個の訓練可能なソフトプロンプトを付加し、単層のドラフトヘッドを再帰的に実行したうえで、線形sigmoid headから二値分類を出力する。主モデルとドラフトヘッドの重みはすべて凍結される。

鍵となるのは、投機的デコーディングによって、完全なプレフィックスに対するドラフトヘッドのKV cacheがすでに構築されている点だ。監視器が追加するのは数個のqueryだけであり、著者らの推定では、追加する分類タスク1件当たりの限界推論コストを1%未満に抑えられる。さらに、一時的な位置の情報は本番のデコーディングキャッシュへ書き戻されないため、ドラフトのacceptance rateにも影響しない。Qwen3.5-27Bで5個のソフトプロンプトを使用するバージョンが訓練するパラメータは約1.8万個にすぎず、各tokenについて中間層を処理するMultiMaxよりも軽量だ。

4つの評価タスクは、指示の競合、思考の反復、分岐推論、多言語安全分類を対象としている。Qwen3.5-27Bの安全性probeは78.2%を記録し、zero-shotのGPT-5.4-miniの78.1%に迫るとともに、論文の設定下ではQwen3GuardとLlama Guardを上回った。データセットをまたぐWildGuardMix評価では、Qwen3.5-9BのSP-2が79.0%を維持した一方、MultiMaxと通常のMLPはいずれも69.0%まで低下した。ただし、これは訓練不要の汎用guardrailではない。各タスクには依然として数千～1万件の教師ありデータが使われており、高品質なMTP／ドラフトヘッドを持たないモデルでは、同等のコスト上の利点を得られない。Eagle3の結果も、共同事前学習されたMTPより約4～12ポイント低かった。今後重視すべきなのは、著者らが作成したバランス分類データセット上の結果だけではなく、独立した再現実験、実運用環境でのserving latency、out-of-distribution攻撃に対する評価だ。