訓練系統
SLAI T-Rex、Ascend SuperPOD上で兆パラメータ級MoEを全パラメータ後学習し、MFUを34.22%に向上
研究チームはDeepSeek-V4ファミリー向けに並列化戦略、通信スケジューリング、カーネル、演算子融合を再設計し、Ascendでの学習効率をオープンソースのベースライン比2.93倍に高めた。さらに、ソルバーで検証したデータを用いてオペレーションズ・リサーチ用モデルを学習したが、コード、データ、ハードウェア測定については、より完全な公開再現性が求められる。
SLAI T-Rexの技術報告は、困難なシステム課題に焦点を当てている。それは、Ascend CloudMatrix384 SuperPOD上で、兆パラメータ級のDeepSeek-V4 MoEモデルに対し、全パラメータによる継続事前学習と教師ありファインチューニングを実行する方法だ。この種のワークロードは、モデルの重みとオプティマイザ状態によるメモリ負荷に制約されるだけではない。Expert Parallelismが生むノード間通信、スパースアテンションのカーネル、多数の断片化した演算子もNPUのアイドル時間を増加させる。
チームは3層の最適化を採用した。モデル層では、Data Parallelism、Tensor Parallelism、Pipeline Parallelism、Expert Parallelismを再構成し、計算と通信を協調させた。カーネル層では、AuraKernelとプロファイリングを組み合わせ、スパースアテンション、正規化、そのほかの処理時間の長いカーネルを重点的に書き換えた。実行層では、連続する小規模なeager演算子をAscendCカーネルに融合し、起動オーバーヘッド、中間テンソル、グローバルメモリのトラフィックを削減した。報告によると、最終的なModel FLOPs Utilization（MFU）は34.22%に達し、オープンソースのベースライン学習レシピと比べて2.93倍に向上すると同時に、学習の安定性も維持した。
研究では、このインフラストラクチャをオペレーションズ・リサーチ向けの後学習にも活用した。データパイプラインでは、ソルバーによって検証した合成数理計画ドキュメントを使用し、4種類のタスクと3種類の問題表現を網羅する1万件のSFTデータを構築した。DeepSeek-V4-Flashをベースモデルとする専用モデルは、チームの評価で平均ゼロショットPass@1 71.81%を記録した。これはGPT-5.4-Miniを3.98ポイント、未調整のベースモデルを11.27ポイント上回る。
この研究の重要性は、単一カーネルのマイクロベンチマークを提示するだけでなく、非CUDA環境の大規模学習スタックと検証可能なドメインデータを同時に扱っている点にある。ただし、MFUはモデル構成、数値精度、シーケンス長、クラスタトポロジーに大きく依存する。また、GPT-5.4-Miniとの比較だけでは、幅広い推論能力を証明できない。今後、エンジニアリング分野では、カーネルと学習レシピが完全に公開されるか、異なるAscendクラスタでも結果を再現できるか、さらにソルバーによる検証が、形式的には正しくても数理モデリングが誤っている回答を本当に排除できるかに注目すべきだ。