システムログに悪意あるテキストを書き込むことで、LLMに実際の攻撃を正常な活動と誤判定させることが可能

ウィーン工科大学などの研究者は7月27日、LLMログアナライザーを対象としたプロンプトインジェクション評価フレームワークを公開した。この脅威モデルでは、攻撃者がモデルやSOCバックエンドへアクセスする必要はない。アカウント名、URL、User-Agent、ファイル名、コマンドライン引数など、監査ログ、アクセスログ、アプリケーションログに制御可能なテキストを取り込ませることさえできれば、モデルのコンテキストに命令を紛れ込ませられる可能性がある。

研究ではまず、実際のサイバー攻撃から生成されたCAM-LDSのログトレースを基に、汎用的なインジェクション用テキストを作成し、その後、言い換えと攻撃シナリオに応じた最適化を行った。実験の結果、テスト対象となった複数のフロンティアモデルは、明確な侵害指標が依然として確認できるにもかかわらず、悪意あるトレースを良性と分類する場合があることが示された。これは従来の「log injection」とは異なる。目的は単に解析フォーマットを破壊することではなく、後段の言語モデルによるイベントの意味的判断を変えることにある。

著者らは同時に、利用可能ではあるものの、まだ安定していない防御シグナルも観察した。モデルが良性ラベルを出力しても、その説明では不審な命令、操作の意図、矛盾する証拠に言及することが多かった。このため、エンジニアリングチームは分類結果と説明を別々に検証し、ルールまたは別の隔離された検出器を使って操作の痕跡を確認できる。より根本的な対策は、ログを信頼できないデータとして扱い、構造化フィールド、出所を示すタグ、データと命令の境界を明示してモデルへ渡すとともに、単一のLLMによる判定だけでアラートを直接クローズすることを禁止することだ。

ただし、この論文はすべての商用SOC製品が影響を受けると証明したものではなく、結果はプロンプトテンプレート、モデルのバージョン、ログの選定方法にも左右される。公開リポジトリには再現用の資料が提供されている。今後は、異なるモデルやRAGパイプラインを対象とするバージョン横断テストに加え、説明に基づく検出が誤検知を大幅に増やすことなく、攻撃を安定して阻止できるかが注目される。