Transformers 社群回報 Mamba2 正規化分組缺口，非融合路徑可能與訓練核心計算不同

Transformers 社群於 10 月 12 日提出 Mamba2 計算一致性問題：當 n_groups > 1，非融合的門控 RMSNorm 會沿整個中間維度計算均方值，上游融合訓練路徑則按 SSM 群組分別正規化。回報者檢查指定開發提交，並以 Transformers 5.5.0 執行最小重現；目前議題仍開放，尚無關聯 PR。公開回報

差異出在正規化範圍。現行 MambaRMSNormGated 使用最後一維的平方平均，建構時未接收群組資訊；融合路徑則傳入 ngroups。若不同群組的數值尺度不同，整體平均便會讓一組的輸入影響另一組的輸出。回報以 FP32 小型張量比較官方參考實作，最大輸出差異約 0.802，並測得分組參考中應為零的跨群組導數，在現行實作中非零。這些是回報者的量測，尚未獲獨立重現。重現程式與結果

這項檢查具有實際部署意義：官方文件列出 n_groups 預設值為 8，也說明 Codestral Mamba 使用八組，且存在 PyTorch 與 CUDA 核心兩種前向路徑。文件提醒兩者可能有些微數值差異；依此次回報的計算分析，分組範圍不同則涉及函數定義，工程師需要將它與運算順序、低精度造成的誤差分開檢查。Mamba2 官方文件

回報者提出按群組重塑張量、逐組計算 RMSNorm 的修補方向，保留既有權重形狀，並表示局部輸出與梯度比較通過。不過，完整融合 SSM 操作、預訓練模型及生成品質仍未驗證；Codestral 的閘控順序也超出這份重現範圍，因此不能推定其品質已受影響。後續應關注維護者審查，以及完整模型在融合訓練、一般前向與快取解碼間的一致性測試。驗證範圍與修補提案