AMD、Instella-MoEの全トレーニングチェーンを公開—16Bモデルでtokenごとに有効化するパラメータはわずか2.8B

AMDはInstellaプロジェクトを更新し、Instella-MoE-16B-A3Bの完全なモデルチェーンを公開した。これは総パラメータ数16B、tokenごとに約2.8Bのパラメータを有効化する疎なMixture-of-Experts（MoE）モデルで、64のエキスパートと2つの共有エキスパートを備える。ルーターは毎回6つのエキスパートを選択する。モデルは27層のデコーダー、2,048次元の隠れ状態、128,896語の語彙を採用し、現在、重みはBF16 Safetensors形式で公開されている。

今回注目すべきなのは、最終的なチャットモデルだけではない。AMDは、事前学習、中間学習、長コンテキスト拡張、教師ありファインチューニング（SFT）、DPO、強化学習という6つのチェックポイントを同時に提供している。これにより開発者は、各段階で能力がどのように形成されるかを比較したり、より初期のベースモデルからポストトレーニングを再設計したりできる。AMDはさらに、データミックス、トレーニングレシピ、ROCm上に構築されたPrimusトレーニングフレームワーク、Miles強化学習フレームワークも公開したとしている。これは最終的な重みだけを提供する場合よりも、研究可能な「完全オープン」モデルに近い。

アーキテクチャ面では、Instella-MoEはGated Multi-head Latent Attention（Gated MLA）を採用し、Attentionの状態を圧縮するとともに、ゲートで出力を制御する。FarSkip-Collectiveは、離れた計算処理がブロック中の集合通信を迂回できるようにし、MoEで一般的なall-to-allの待ち時間とGPU計算をオーバーラップさせることを目指す。モデルはMI300XとMI325X上でゼロからトレーニングされている。モデルカードにはTransformers、vLLM、SGLangによるロード方法も記載されており、AMD独自のサービスインターフェースに縛られてはいない。

ただし、現段階のベンチマーク結果は主に画像形式の公式比較であり、Instella-MoEの正式な技術レポートは依然として「近日公開」とされている。多言語能力についても、まだテストされていない。エンジニアリングチームは、まず`trust_remote_code`、メモリ要件、ROCm以外のプラットフォームとの互換性を確認したうえで、トレーニングデータの一覧、ルーティング負荷の分布、長コンテキストの最大長、再現可能なスクリプトが完全に追加されるかを見極める必要がある。