Puro-2B、コンシューマー向けGPUによる事前学習レシピを公開――2Bモデルの全学習コストは約6,900ドル

清華大学のPACMANチームは、コンシューマー向けRTX 5090を使用し、ランダム初期化から学習した20億パラメータの密な言語モデル群「Puro-2B」と、検証可能なエンドツーエンドの事前学習スタックを公開した。モデルはQwen3-1.7Bと互換性のあるアーキテクチャ構成を採用しているが、Qwenの重みは継承していない。正式版は約1.4兆トークンを読み込み、28層のTransformer、2,048次元の隠れ状態、4,096トークンのコンテキスト長、重みを共有しない入力／出力embeddingを採用している。

コスト削減は、単一の手法によるものではない。学習では、ブロック単位FP8によって計算量とメモリ要件を抑え、hyperball制約付きのMuonHオプティマイザーを使用した。さらに、標準的なデータ順序、プロキシモデルに基づくデータ選択、学習後期のカリキュラム順序付け、6つのチェックポイントの平均化を、同一の実験体系に組み込んでいる。チームの記録によると、正式モデルは22,514 effective GPU-hoursを消費した。RTX 5090 1基当たり毎時0.31ドルとして換算すると、約6,891ドルとなる。第2段階を半分まで完了した別のチェックポイントは、コストが約4,370ドルで、チームによる15項目のbase-model評価の平均スコアでQwen2-1.5Bを上回った。正式モデルの性能は、Qwen2.5-1.5Bに近いと説明されている。

小規模な研究チームにとって、重みそのもの以上に重要なのは再現性だ。Puro-Megatronには、データのパッキング、再開可能な学習ステージの切り替え、FP8チェックポイント、分散オプティマイザーの状態、データ破損への対処が含まれている。データ処理コードと複数の中間チェックポイントも公開済みだ。これにより研究者は、既存モデルをファインチューニングするだけでなく、データカリキュラムや最適化戦略を実際に比較できる。

ただし、公表されたコストには、エンジニアリング、人件費、ストレージ、ネットワーク、失敗した実験、ポストトレーニングの費用は含まれていない。データセットも、上流のデータソースに応じた複数のライセンスが混在している。Puro-2B-Baseはアラインメントされていない基盤モデルであり、そのままチャットアシスタントとして使用することはできない。今後は、外部チームが同一のハードウェアおよびデータ条件で、スループット、コスト、評価結果を再現できるかが焦点となる。