最新模型
Universal Activation Bus、単一のアダプター群でモデルをまたいでSAEとプローブを共有
Universal Activation Busは、5つの言語モデルの中間表現を固定された3,072次元の空間に整列させる。新しいモデルは、それぞれ独自の線形エンコーダーとデコーダーを学習するだけでよい。実験対象のモデルは同一のプローブ、スパースオートエンコーダー、自然言語インタープリターを再利用できたが、より幅の広いモデルでは表現の再構成に依然として顕著な歪みが生じた。