Transformer Engine 2.19がRubinと2次元MXFP8に対応、サイレントな誤計算を引き起こす可能性のあるcuBLASアルゴリズムを無効化

NVIDIA Transformer Engine 2.19では、次世代Rubin GPUのソフトウェア対応が学習コアにまで拡張された。CUDA 13.4以降でビルドするとSM107aを認識できるようになり、PyTorch側には実験的な「方向別混合量子化」が追加された。これにより、行方向（rowwise）と列方向（columnwise）のパスで異なるquantizerを使用できる。テンソル全体に単一の精度戦略を適用するより柔軟で、特にforward、backward、通信の各段階で誤差許容度が異なるワークロードに適している。

より具体的な新しいインターフェースは`MXFP8BlockScaling(enable_2d_quantization=True)`だ。通常のMXFP8では、連続する32個の値ごとに1つのE8M0 scaleを保持する。2次元モードではさらに、重みに対してブロックスケールを設定し、方向性のある量子化によって生じる誤差の低減を目指す。ただし、ユーザーが明示的に有効化する必要がある。2.19ではMXFP8がNCCL-EPのdispatch forwardとcombine backwardにも導入され、事前に量子化された`GroupedLinear`と融合grouped MLPをサポートする。これは大規模MoE学習におけるエキスパート通信コストを直接の対象としている。

Attentionパスにも変更がある。cuDNN FP8 fused attentionがpacked THD入力とcontext parallelismに対応し、実験的な`GatedDeltaNetAttention`カーネルも追加された。一部のFlashAttentionバックエンドは`torch.compile(fullgraph=True)`で動作できる。これらの機能が無条件に高速化をもたらすわけではない。FP8 THD sink-softmax backwardにはcuDNN 9.26以降が必要で、GatedDeltaNetでは`head_dim=32`の場合、backpropagation中にNaNが発生する可能性があるという既知の問題がある。

アップグレードの安全性も同様に重要だ。NVIDIAは、B300／Rubin上のgrouped GEMMでサイレントなデータ破損を引き起こす可能性があるcuBLAS 13.7のアルゴリズムを無効化した。新しいハードウェアを検証している場合は、バージョンの固定と数値回帰テストを必須作業とみなすべきだ。NCCL-EPの`ep_bootstrap`、`EpBuffer`インターフェース、および`mhc_fused_projection`の出力型にも破壊的変更がある。公式には2.19のモデル全体を対象としたスループットや収束のベンチマークが提供されていないため、エンジニアリングチームは引き続き、自社の行列形状、通信トポロジー、モデル品質に基づいて効果を測定する必要がある。