Marin、535B-A23Bのオープントレーニングを開始、11基のGB200 NVL72を公開追跡可能

Marinコミュニティは、これまでで最大規模となるオープントレーニング実験を開始した。対象は、総パラメータ数約535.3B、有効パラメータ数22.76Bのmixture-of-expertsモデルだ。公開された計画では、11基のGB200 NVL72を使用し、約3カ月間稼働させる。対外発表によると、データ処理量は18.75T token、必要な計算量は約2.7×10²⁴ FLOPsとなる。最終weightsだけを公開する取り組みとは異なり、Marinは設定、データ構成、スケーリング予測、Weights & Biasesのテレメトリも公開している。[トレーニング追跡Issue](https://github.com/marin-community/marin/issues/8435)

モデルは48個のTransformer blockで構成され、各層に384個のrouted expert、top-8 routing、2個の共有SwiGLU expertを備える。LatentMoEは、6,144次元のtoken表現を3,072次元へ圧縮してからexpert dispatchを行い、all-to-all通信を削減する。64-way expert parallelismは各72-GPUラック内に配置され、11ラックはdata-parallel replicaとして機能する。容量係数1.15と3ラウンドの静的expert waveにより、通信および演算用バッファを制限するが、負荷が不均衡な場合にはtokenが破棄される可能性がある。[技術概要と設定へのリンク](https://www.ai-primer.com/engineer/stories/marin-535b-training)

チームは本トレーニングに先立ち、1.6B-A61M・48B tokenから27.7B-A1.2B・926B tokenまで拡大する4段階のscaling ladderを構築した。この事前実行には本実験の約1%の計算資源が使われ、loss、gradient norm、評価推移の予測に利用される。以前の実験では、この方法により大きなbatchでgradientが増大する問題を発見し、logit z-lossを導入した。本モデルが予測曲線から外れた場合、メンテナーは3カ月分の計算資源をすべて消費する前に、データ、routing、またはコア実装を調査できる。

主なリスクは、依然として長コンテキスト対応と大規模トレーニングの安定性にある。より多くのsequenceを使うほうがexpert balancingに有利なため、モデルはまず4K sequenceでトレーニングされる。一方、既存テストでは、コンテキストを65Kへ拡張するとtoken droppingが約7%から約40%へ増加する。チームはdropless ragged all-to-all、容量係数の引き上げ、sequence-level balancingを検討しており、後半フェーズで65Kおよび262Kを試す計画だ。公開資料には18.0T tokenと18.75T tokenという2通りの記載もある。したがって現時点では、これを完成済み、あるいは能力評価が提示されたモデルのリリースではなく、アーキテクチャとテレメトリを再現可能なトレーニング実験として捉えるべきだ。