SAEが各自で最大活性化トークンを選ぶことで生じる辞書間の因果的変動、11.9%からほぼゼロに

Sparse Autoencoder（SAE）は、言語モデルの residual stream を、名前を付けられる latent へ分解するためによく使われる。ある latent が本当にモデルへ影響を与えるか検証する際、研究者は通常、その latent が最も強く活性化するトークンで寄与をゼロにし、次トークン分布の KL divergence を測定する。問題は、この「最も強く活性化する位置」が、評価対象の辞書自体によって決まることだ。別の SAE に切り替えると、decoder direction がほぼ同じでも最大活性化トークンが変わる可能性があり、辞書間の比較に位置の違いまで混入する。

[新たな研究](https://arxiv.org/abs/2608.13337)ではまず、Google が同一モデル向けに公開した Gemma Scope の latent のうち、decoder cosine が近いものを対応付け、本番品質の辞書でも異なるトークンが頻繁に選ばれることを確認した。続いて著者らは、latent の同一性を固定するため、同一の初期化から fitting 設定だけを変えて6つの SAE を学習した。Gemma-2-2B、384シーケンス、15組の辞書ペア、計3,600回の比較では、2つの辞書が同じトークンを選ぶ割合はわずか13.9%だった。これはランダムベースラインの3.5%を上回るものの、異なる位置間の距離の中央値は依然として118 tokens に達した。

この選択は、信頼性に関する結論を直接書き換える。各辞書がそれぞれの最大活性化位置で測定した場合、latent×辞書の交互作用が変動の7.6%と11.9%を占めた。一方、共通トークンで測定すると、どちらもほぼゼロまで低下した。評価コーパスを16倍に拡大しても改善しなかった。テキストが増えるほど、辞書間で選択が分かれ得る極値位置も増えるためだ。著者らはまた、特殊トークンを除外するかどうか、介入の大きさで正規化するかどうかによって、同じデータでも比較結果の方向が逆転し得ると指摘している。

修正自体は、評価コード内で共通の位置を固定するだけで済む。ただし報告仕様にも、位置の選択方法、特殊トークンの処理、正規化方法を併記する必要がある。[コード、事前登録文書、結果](https://github.com/vcnoel/sae-artifact)は公開されている。なお、主要な対照実験の対象は Gemma-2-2B、Gemma-3-1B、同一初期化の TopK SAE、および単一研究者による実装に限られる。この結論は、単一 latent のゼロアブレーションにおける効果量の測定を対象としたものであり、interchange intervention、複数 latent を用いる概念テスト、あるいはすべての SAE 評価へ直接一般化することはできない。