AI 基礎設施
Cerebras CS-4、3基のWSE-3Tでラックシステムを構成し、ピーク帯域幅を129.6 PB/sに拡大
CS-4は新しいプロセスへ移行したものではなく、WSE-3のクロック周波数、電力供給、I/Oを強化し、3基のウェハスケールプロセッサーでNexusラックを構成する。推論速度はGPUベースのソリューションと比べて最大30倍と公式にうたうが、PFLOPSやワット当たりスループットについては、比較可能な独立したエンドツーエンドテストが依然として不足している。
Cerebrasは、3基のWSE-3 Turbo（WSE-3T）を新たなNexusラックスケールアーキテクチャに統合したCS-4を発表した。システム全体の公称性能は、AI演算性能が750 PFLOPS、メモリ帯域幅が129.6 PB/s、チップ内インターコネクト帯域幅が160.5 PB/s、外部I/Oが7.2 Tb/s。ウェハ間レイテンシはCS-3の5マイクロ秒から最短2マイクロ秒へ短縮された。初回分のシステムは今四半期に出荷される予定だ。
注目すべき点は、WSE-3Tが次世代プロセスを採用したチップではないことだ。WSE-3と同じ5 nm設計、4兆個のトランジスタ、90万コア、チップ当たり44 GBのSRAMを引き継いでいる。主にプロセッサーにより近い位置での電力変換、約2倍の給電能力、より高い動作周波数によって、チップ当たりの公称演算性能を125 PFLOPSから250 PFLOPSへ引き上げた。交換可能な3つの「Backpack」モジュールは、演算、電力供給、I/Oを分離し、導入と保守のしやすさを改善する。
通信面では、Wafer I/O ModuleがRoCE v2 RDMAと、スイッチを介さないDirect Wafer Linksの両方をサポートする。後者は2次元リングトポロジーで複数ラック間のウェハを接続し、超大規模モデルを低レイテンシでパイプライン並列処理することを狙う。Cerebrasはまた、CS-4を分離型推論のデコード側として位置付けている。AWS TrainiumまたはAMD Instinctが演算負荷の高いprefillを処理し、その状態を高帯域幅SRAMへ引き渡して、token単位の逐次デコードを実行する構成だ。
エンジニアリングチームは、750 PFLOPSをGPUと同等の演算性能として直接解釈すべきではない。このピーク値にはスパース演算の前提が含まれており、スパースアクセラレーションがすべてのLLMに適用できるとは限らない。公式が掲げる「最大30倍」や「ワット当たりスループットが10倍」という数値も、社内比較と第三者による比較が混在している。今後は、実消費電力、同時実行バッチにおけるユーザー当たりのレイテンシ、prefill／decode間の引き渡しコスト、さらにラック内の132 GB SRAMがモデルごとの精度やKV cacheに対して課す容量制約を検証する必要がある。