AI 晶片與資料中心
MTIA 300、12基のRDMA NICとcollectiveエンジンをチップに統合し、PCIe通信経路を迂回
MetaのMTIA 300は、1.2TB/sのネットワークI/Oと16基のメッセージエンジンをアクセラレータに直接統合し、collectiveが主要な計算アレイを占有しないようにした。公式発表では、150B規模の推薦モデルにおいて、比較対象のGPUクラスタより通信時間を3.9倍短縮したとしているが、システム全体のトレーニングコストを比較するのに十分な完全なデータはまだ提供されていない。
Metaは、大規模なランキングモデルおよび推薦モデルのトレーニング向けとして初の自社開発アクセラレータとなるMTIA 300のシステム設計を公開した。この種のモデルでは、embedding tableがパラメータの99%以上を占める場合があり、数百基のアクセラレータ間でAllReduce、AllToAll、AllGatherを頻繁に実行する必要がある。そのため、ボトルネックは行列乗算のスループットだけでなく、チップ間およびラック間でデータを適時に移動できるかどうかにもある。
MTIA 300は、パッケージ内に2基のネットワークchipletを搭載する。各chipletには6基の800Gbps RDMA NICが含まれ、合計1.2TB/sのI/Oを提供するため、従来のホスト—デバイス—NIC間のPCIe経路を通す必要がない。12基のEthernet NICは、ラック内のscale-upまたはラック間のscale-outに再割り当てでき、最大構成では前者が約1TB/s、後者が約200GB/sとなる。Metaはexpress doorbellも追加しており、work requestの書き込み自体で転送を開始できるため、1操作当たり約800nsを削減できるとしている。
さらに重要な変更点は、16基の独立したメッセージエンジンである。各エンジンは、RISC-V制御コア、NICインターフェース、near-memory reductionユニットを備える。これによりcollectiveは、一般的なGPUの通信カーネルのように、GEMMを実行する主要な計算リソースを占有せずに済む。ハードウェアと共同設計されたHCCLは、collectiveを依存関係付きのタスクサブグラフへコンパイルする。命令がHBMに送られた後はデバイスが自律的にスケジューリングでき、`torch.compile`を通じてPyTorch c10dおよびtorchcommsのグラフと統合することも可能だ。
Metaによると、GEMMとcollectiveを同時に実行した際の計算スループット低下は0.5%未満であるのに対し、比較対象のGPUでは20%を超えた。また、HCCLは単一ラックで940GB/sに達し、40基のアクセラレータを用いて150B規模の推薦モデルをトレーニングした場合、通信時間が3.9倍短縮された。ただし、これは特定の社内モデルとトポロジーを使用し、ベンダー自身が選定したGPUを比較対象とした結果である。Metaは、エンドツーエンドのトレーニング時間、消費電力、チップコスト、歩留まりを公表していない。現時点でMTIA 300が最も明確に示しているのは、推薦システムにおけるハードウェアとソフトウェアの協調設計という方向性であり、汎用LLM GPUの代替品と直接見なすことはまだできない。今後は、同じアーキテクチャが推論、長いコンテキスト、小規模メッセージが高頻度で発生するエージェントトラフィックに対応できるかが注目される。