整合性のある形容詞を加えてもSAEの活性化特徴の20～60%が失われ、「特徴の袋」という直観に疑問

スパースオートエンコーダー（SAE）は、モデル内部を観察する「顕微鏡」として扱われることが多い。SAEは密なresidual streamを少数の活性化latentへ分解し、研究者は各latentを発火させるテキストに基づいて概念的な解釈を割り当てる。新たな研究は、さらに一歩踏み込んだ問いを提示した。個々のlatentが理解可能に見えるとしても、活性化したlatentの集合全体は、本当に「特徴の袋」のように安定して組み合わされるのだろうか。著者らは、密ベクトルのcosine similarityに代えて、活性化集合のJaccard overlapを採用した。まず、この指標が合成toy modelにおいて特徴の和集合を復元できることを示し、さらにThe Pileから抽出した3万件のテキストでも意味的に一貫した近傍を形成できることを確認した。

しかし、自然言語を対象にすると結果は弱まった。Gemma 3 270Mと16K big SAEを用いた主要実験では、SAEの集合表現による人間のカテゴリー境界の復元性能はresidual streamを上回らなかった。また、「コマドリはペンギンよりも鳥の典型例である」といったカテゴリー内の順位付けでは、カテゴリー別のSpearman相関は大半がゼロ付近だった。研究者らはさらに200件の名詞系列を作成し、色・大きさ・状態を表す形容詞を最大5個まで段階的に追加した。表現が単純な構成性を備えているなら、「yellow shovel」はshovelのlatentを保持したままyellowのlatentを追加するはずである。ところが実際には、元の名詞に対応するlatentの消失率は通常20～60%に達し、形容詞の数が増えるほど、また一部のモデルでは層が深くなるほど上昇した。

これはSAEに価値がないことを意味しない。中間層の一部で消失したlatentの約6割は上流の層で出現しており、問題にはモデルが概念を完全に忘れたことだけでなく、プローブを適用する位置や活性化thresholdも関係している可能性がある。また、この研究が検証したのは短い英語の名詞句、手作業で作成した形容詞集合、および限定的なGemma／SAE構成のみであり、再現用コードもまだ公開されていない。エンジニアリング上は、単発の活性化、latent集合の差異、または自動ラベルを、そのまま因果的証拠として扱うべきではない。SAEをモニタリング、steering、または安全性判定に利用するには、今後、プロンプト間の安定性、層をまたぐ追跡、実際の介入実験を取り入れる必要がある。