Universal Activation Bus、単一のアダプター群でモデルをまたいでSAEとプローブを共有

言語モデル向けのプローブ、スパースオートエンコーダー（SAE）、activation steeringは通常、特定モデルの隠れ空間に結び付いている。モデルが変われば、次元数、tokenizer、表現基底のいずれも異なる可能性がある。8月10日に公開されたUniversal Activation Busは、これらのツールを再利用可能なインターフェースへ変える試みだ。研究者はLlama、Qwen3、SmolLM2、Falcon3、OLMoのそれぞれに線形エンコーダーとデコーダーの組を用意し、自己再構成、モデル間再構成、対照損失を用いて、同じテキスト接頭辞に対応する中間activationを固定された3,072次元の共有空間へマッピングした。モデル本体は全工程を通じて凍結された。

最初のbusの学習後は、既存の座標系とツールも凍結される。新しいモデルは、ラベルなしテキスト内のtoken境界が一致する位置だけを使い、独自のadapterを学習する。OLMoでは、キャリブレーション位置を10,000個使用した場合、ドメイン内のモデル間検索でR@1が99.6%に達し、3,000位置を使用した場合の88.4～89.5%から大幅に向上した。拡張テストに含まれる1.24B～14.8Bの10個のcheckpointでも、少なくとも99.9%のR@1を達成した。さらに著者らは、各モデルで線形プローブと単一のSAEを共有させたほか、activationをQwen2.5-7Bのネイティブ空間へ変換し、もともと同モデル専用に学習された自然言語インタープリターを再利用した。モデル間で計算を引き継いだ場合、後半を担当するモデルが生成した次tokenは、そのモデル本来の出力と72～88%一致した。

ただし、これは任意のモデルがすでに普遍的な内部言語を備えていることを意味しない。ドメイン外の完全一致検索におけるR@1は約60.8～78.7%にとどまった。OLMoのround-trip explained varianceは0.734にすぎず、より幅の広い一部のcheckpointでは0.591まで低下した。これは、固定次元による情報圧縮を反映している。現時点のテストも、互換性のあるオープンなテキストモデルと単一層のactivationに集中しており、アーキテクチャをまたぐ安全なsteering、長いシーケンスの状態、マルチモーダルモデルについてはまだ検証されていない。MIT Licenseのコードと学習スクリプトは公開済みだ。次の段階では、共有された特徴が検索や意味の面で似ているだけでなく、因果的な作用も維持しているかを独立したチームが測定する必要がある。