微軟公開 MAI-Base-2 預訓練細節，透過多輪 MoE 調度控制記憶體用量

微軟 AI 於 10 月 15 日公布 MAI-Base-2 預訓練成果。這款混合專家（MoE）基礎模型共有 2.8 兆參數，每 token 啟用約 800 億參數，於今年八至九月使用 16,000 顆 NVIDIA GB200 GPU 訓練 38 天。目前模型仍在後訓練，微軟規劃經 Foundry 向可信任夥伴授權權重，尚未宣布公開服務日期。發布與時程

報告的重要工程變更，是處理 MoE 專家負載不均造成的記憶體浪費。不同專家收到的 token 數量不同，若按極端負載預留空間，平時便會閒置；設定容量上限並丟棄溢出 token，又可能損害訓練品質。微軟改採多輪調度：每組專家使用固定容量，超出的 token 留待後續輪次處理，並允許繁忙專家借用同組未用容量。容量較小可節省記憶體，但可能增加運算輪次。官方技術報告

團隊同時將專家運算與通訊分組、減少主機與 GPU 同步，並讓通訊和計算重疊。微軟表示，相關改進使 MoE 層的模型 FLOPs 利用率從 24% 提高至 35%，因此能將每層都設為 MoE；完整訓練的平均利用率則為 21%，兩者量測範圍不同。這些細節顯示，增加稀疏度的實際收益仍受記憶體配置、通訊與核心啟動成本限制。工程說明

評估方面，微軟以每位元組位元數（BPB）比較保留文字的預測損失，降低 tokenizer 差異的干擾，並依縮放曲線估算，達到 DeepSeek-V4-Pro-Base 相同損失所需的 FLOPs 可改善 4.2 至 12.3 倍。這是訓練配方的估計效率，不能換算成推論加速或 API 成本降幅；部分對照模型也已經過後訓練。工程團隊接下來應關注可重現評估、後訓練能力，以及部署時的延遲與記憶體需求。評估方法與限制