Extropic Z1Tは確率チップ向けにTransformerを再設計、ただし100倍の省エネ性能は主要コストを除外した試算

ExtropicはZ1Tを公開した。既存の密なTransformerをそのまま新しいハードウェアへ移植するのではなく、モデルアーキテクチャ側をZ1確率チップの固定された疎なトポロジーに適合させる試みだ。Z1チップは1基あたり269,568個の確率ビット（pbit）を搭載し、各ノードにはハードワイヤードされた結合が16本しかない。このためZ1Tは、各出力に対する射影を4入力に制限し、さらに4個のpbitで近似的な低精度値を表現する。反復サンプリング後に平均を取ることで、サンプル数を増やす代わりに、より高い実効精度を得られる。

アーキテクチャでは、GPU向けに設計されたいくつかのコンポーネントも置き換えている。RMSNormは、サンプリング回路へマッピング可能なDynamic Tanhに変更され、softmax self-attentionは、局所畳み込みと累積プーリングを備えたgated convolutional attentionに置き換えられた。疎なtanh-linear層はZ1が担当する一方、残差接続、プーリング、位置処理、そのほかの密な演算は引き続きFPGAが担い、ヘテロジニアスなパイプラインを構成する。公開されたJAXリポジトリには疎モデルとZ1Tの学習レシピが含まれ、Hugging Faceでは最初のZ1T-0の重みも提供されている。これにより研究者は、まず従来型ハードウェア上でアーキテクチャと損失曲線を検証できる。

公式試算によると、4層、幅512のテストモデルは、最終的な語彙logit層とチップ間のデータ転送を除外した場合、1 tokenあたり約294.52 nJを消費する。H100が理論性能の10%しか利用できないと仮定すると、その差は約139倍になる。しかし、すでに消費電力の95%以上をFPGAが占めており、FPGA上の最終的な語彙出力処理を含めると、推定値は約136.4 µJまで上昇する。必要となるZ1チップの並列稼働数もモデル化されていない。17,000 token/sという数値も同様にレイテンシーモデルによるもので、完全なシステムでの測定結果ではない。本当に注視すべきなのは「GPUを置き換える」という結論ではなく、チームが実物のマルチチップ基板上でエンドツーエンドの消費電力、I/O、バッチ処理、品質、総チップ面積を公開し、ハードウェアとモデルの共同設計による利点が、試算から除外されたシステムコストを上回ることを実証できるかどうかだ。