Transformers 社群提出 MoE 編譯最佳化，三組測試啟動後訓練耗時減少 10–24%

Transformers 社群正在審查一項混合專家模型（MoE）訓練最佳化。貢獻者 Titus-von-Koeller 於 10 月 28 日提交 PR #50102，並於 29 日轉為待審查；作者回報，三組啟用區域編譯的測試在啟動後，訓練耗時減少約 10–24%。截至查核時，提案仍未合併。提案與測試摘要

區域編譯的基本做法，是編譯模型中重複出現的區塊，再讓其他相同區塊重用計算圖。PyTorch 官方文件說明，這能縮小編譯範圍、降低冷啟動成本，但部分運算會留在編譯區域之外，與整個模型一起編譯也存在最佳化空間的取捨。PyTorch 技術文件

作者追查發現，各解碼層會向共享清單追加路由器輸出。清單長度隨層數增加，讓編譯器反覆產生新圖，達到重新編譯上限後退回 eager 執行。提案讓每層的收集工作不再依賴前面累積多少輸出，再於編譯區域之外合併結果；作者表示，此設計保留輸出順序與梯度，包括輔助損失所需的梯度。技術說明

三組對照分別是單張 B300 的 Qwen3-30B-A3B、單張 RTX 4090 的 Granite，以及八張 H100 搭配 FSDP2 與 checkpointing 的 Qwen3。啟動後耗時分別減少約 24%、10%、21%；計入啟動後，全程降幅則約為 11%、13%、20%。其中八卡結果使用較早原型，不能直接視為目前修補版本的完整驗證。作者測試表

對訓練工程師而言，這提示一個值得檢查的瓶頸：啟用編譯後，仍應確認重複區塊是否持續重用計算圖。後續應觀察維護者審查、獨立重現，以及自身配置的重新編譯次數、完整作業耗時與損失曲線；目前數據不足以推論所有 MoE 模型都有相同收益。