SAEVerbalizerは特徴方向を直接言語化するが、最良のグローバル一致率も56.1%にとどまる

従来のSAE解釈パイプラインでは、まずモデルに大規模コーパスを走査させ、各latentが最も強く活性化する箇所を特定したうえで、別のLLMに共通概念を要約させる必要がある。新たに提案されたSAEVerbalizerは、代わりに内部表現からアプローチする。プロンプトのprefill段階で、特定のSAE decoder directionを指定したTransformer層のtoken表現へ注入し、それ以降の層だけをfine-tuningすることで、その方向についての自然言語による説明をモデルに直接出力させる。モデル間で利用する場合は、軽量なadapterを追加し、ソースモデルの方向をverbalizerの表現空間へマッピングする。

研究ではGemma 3の1B、4B、27Bと、Gemma Scope 2の262k-width SAEを使用した。最良の27B・layer 16構成は、Neuronpediaの特徴と説明のペア48,000組で訓練され、3種類の未見特徴テストでそれぞれ52.3%、80.5%、56.1%のReference Agreementを達成した。一方、backboneをfine-tuningしなかった場合、同じテストでのスコアはわずか1.6%、2.5%、1.2%だった。同じ層で、訓練時には未見だった65k-width辞書に切り替えると、3つのスコアは64.4%、56.5%、65.9%となり、獲得した能力が単一のSAE辞書に完全には依存していないことが示された。1Bの方向をadapter経由で27B verbalizerに入力した場合も、1Bネイティブ版をわずかに上回った。ただし、4Bから変換した場合は、すべてのテストで性能が低下した。

この研究が注目に値するのは、「特徴ごとに証拠を収集し直す」工程を再利用可能な表現decoderへ置き換えているためだ。これにより、大規模辞書の分析コストを削減できる可能性があり、方向の合成や符号の反転もテストできる。しかし、RAが測定するのは、出力が選別されたNeuronpediaの説明と一致するかどうかにすぎない。それらの説明も同様に活性化サンプルから推論されたものであり、検証可能なground truthではない。また、各構成の実験は1回しか行われておらず、ランダム変動も推定されていない。著者らのテストは主にGemma Scope 2を対象としており、公開実装も提供されていない。次に確認すべきなのは、異なるモデルファミリー間での再現性、因果的介入による検証、そして完全なactivation-basedパイプラインと比べて実際にどれだけ計算量を削減できるかである。