LLMscope、レーザー電圧イメージングでFPGA上のモデル重みと推論状態を読み出す

Worcester Polytechnic Institute（WPI）の研究チームは、レーザー電圧イメージング（LVI）をエッジLLMアクセラレータへの物理サイドチャネル攻撃に応用する「LLMscope」を発表した。研究者らはelectro-optical frequency mapping（EOFM）を使用し、チップの背面から変調レーザーを回路に照射。局所的な電圧によって生じる反射の変化を基に、flip-flopとblock RAM内のビットを特定してデコードした。これらの構造には推論中、embedding、量子化されたMLP重み、activation、attentionの中間値、KV cacheが格納されるため、暗号化ストレージやセキュアなロードだけでは、演算中のデータ漏えいを防げるとは限らない。

実験はXilinx Kintex-7 FPGA上で行われた。チームは再現可能な入力を用いて安定した周期的コントラストを作り出し、高密度レジスタ、および8-bitと16-bitのBRAM構成からデータを直接復元することに成功した。一部のビットを画像化できない場合、LLMscopeは読み取れた入力、出力、重みを線形制約として表現する。テストに使用した小規模な2×2行列では、重みと出力がそれぞれ8-bit隠されている場合でも、508件のマスキング事例のうち421件、すなわち82.87%で元の行列を一意に復元できた。また、行列が既知の場合は、856通りの欠損入力構成がすべて後段の状態から補完された。

真に重要な発見は、データパスを再利用できる点にある。FPGAでは、異なるアドレス、tile、モデル層が同じ物理buffer群を繰り返し通過するため、攻撃者がパラメータごとに回路の位置を特定し直す必要はない。ただし、規模を拡大するコストは依然として非常に高い。論文の試算によれば、4,096要素のFP16 activationを同研究の観測幅で取得するには、少なくとも832枚の画像が必要となる。1枚につき5分を要する場合、合計は約69時間に達する。さらに、4,096×4,096の4-bit projection全体を512-bitデータパス上で走査するには、少なくとも131,072通りの再現状態が必要になる。

したがって、これはモデルを遠隔から窃取する攻撃ではなく、大規模な商用アクセラレータを完全に複製できることが実証されたわけでもない。攻撃には高価な光学機器、チップ背面へのアクセス、安定したタイミング、制御または再現可能な実行が必要である。また、主要な検証対象も1種類のFPGAと小規模な行列データパスに限られている。エンジニアリング上、今後注視すべき点は、パッケージによる遮蔽、光学センサー、データ配置と演算タイミングのランダム化によって、エッジ推論の効率を損なわずにこの種の測定を阻止できるかどうかである。