Etched、低電圧演算とクラスター共有メモリでGPUに挑むラックスケール推論アーキテクチャを公開

AIチップのスタートアップEtchedは、初のラックスケール推論システムの設計方針を公開した。TSMCのN4Pプロセスを採用したA0チップはすでにテープアウト後の実チップが到着しており、現在、顧客と初期製品を検証しているという。このシステムは単体のアクセラレーターカードを販売するだけではなく、チップ、パッケージング、電源、液冷、インターコネクト、コンパイラー、ラックを一体的に設計し、数兆パラメーター規模の疎なMoE、長いコンテキスト、エージェント型ワークロードへの対応を目指す。

第1の中核技術はLow Voltage Inference（LVI）だ。Etchedによると、その演算ブロックは一般的なAIチップの半分未満の電圧で動作し、分割可能な行列演算アレイ、スケジューリング、電力供給設計を組み合わせることでFLOPs密度を高める。同社は、数兆パラメーター規模の疎なMoEを実行する際、ピークFLOPsの80％超を利用でき、高負荷時の消費電力や温度上昇によるクロック低下を回避できるとしている。この指標をモデル全体に拡張できれば、大規模バッチのprefill性能とスループットが改善する可能性がある。ただし、行列演算ユニットの利用率は1ワット当たりのtoken数と同義ではなく、ルーティング、通信、KV cacheのコストも反映していない。

第2の技術であるCluster Scale Memory（CSM）は、低バッチかつレイテンシ重視のdecodeを対象としている。ラック内のチップから、より大容量の共有メモリプールへアクセスできるようにすることで、モデルの重みやKV cacheが単一カードの容量によって分割された際に発生するデータ移動を削減するという構想だ。しかしEtchedは、一貫性モデル、メモリ帯域幅、リモートアクセスのレイテンシ、障害ドメインについてまだ説明しておらず、外部から検証可能な本番環境での結果もない。

今後、エンジニアリングチームが注視すべきなのは、実際のモデルにおけるTTFT、TPOT、1ワット当たりのスループット、テールレイテンシに加え、ソフトウェアスタックが急速に変化するattentionおよびMoEアーキテクチャをサポートできるかどうかだ。Etchedは初期ラックを今年夏に出荷するとしているが、第三者によるベンチマークが公開されるまでは、LVIとCSMは依然としてベンダーが提示したアーキテクチャ上の主張として捉えるべきだ。