硬體
MTIA 300、12基のRDMA NICとcollectiveエンジンをチップに統合し、PCIe通信経路を迂回
MetaのMTIA 300は、1.2TB/sのネットワークI/Oと16基のメッセージエンジンをアクセラレータに直接統合し、collectiveが主要な計算アレイを占有しないようにした。公式発表では、150B規模の推薦モデルにおいて、比較対象のGPUクラスタより通信時間を3.9倍短縮したとしているが、システム全体のトレーニングコストを比較するのに十分な完全なデータはまだ提供されていない。