AI 晶片與資料中心
MTIA 300 把 12 張 RDMA NIC 與集合通訊引擎封進晶片，避開 PCIe 與運算核心爭用
Meta 公開 MTIA 300 的系統設計，以內建 NIC chiplet、近記憶體歸約單元及編譯式 HCCL 加速推薦模型訓練。官方稱 40 顆加速器上的通訊時間較對照 GPU 叢集縮短至約四分之一，但未提供成本、功耗或通用 LLM 訓練比較。
Meta 進一步公開自研加速器 MTIA 300 的架構，重點不是追求通用 GPU 的最高浮點吞吐量，而是處理大型推薦與排序模型的通訊瓶頸。這類模型逾 99% 參數可能位於 embedding table，訓練時會在數百顆加速器間頻繁執行 AllReduce、AllToAll 與 AllGather；若集合通訊仍由 GPU kernel 執行，便會與矩陣運算爭奪相同的核心。
MTIA 300 在封裝內加入兩枚網路 chiplet，共包含 12 張自訂 800Gbps RDMA NIC，總 I/O 頻寬為 1.2TB/s，資料毋須經過 PCIe。相同 NIC 可在機架內的 1TB/s scale-up 與跨機架的 200GB/s scale-out 之間重新分配。晶片另有 16 個獨立 message engine；每個引擎整合 RISC-V 控制核心、NIC 介面及每週期處理 128 bytes 的近記憶體歸約單元，合計歸約吞吐量逾 2.8TB/s。
配套的 HCCL 不在執行期間逐步由主機驅動通訊，而是先把 collective 編譯成帶有明確依賴關係的工作佇列子圖，再交由 message engine 自主執行。它可透過 PyTorch `c10d`、TorchComms 與 `torch.compile` 接入計算圖，也提供單邊通訊與 device-triggered collective 路徑。Meta 報告機架內頻寬最高 940GB/s；集合通訊與大型 GEMM 同時運行時，運算吞吐下降少於 0.5%。在 40 顆 MTIA 300 執行一個 150B 參數生產推薦模型時，總通訊時間是對照 GPU 叢集的 1/3.9。
這些數字仍是供應商在自家模型、拓撲與軟體堆疊上的結果。MTIA 300 配有 216GB HBM3E，但 Meta 沒有公布晶片功耗、整機成本、製程或與哪款 GPU 比較；亦未證明它適合以矩陣計算為主的前沿 LLM 訓練。工程團隊下一步應關注 HCCL 的可取得性、跨框架支援，以及內建網路設計能否在推論的小訊息和高併發負載上維持同樣優勢。