Puro-2B、RTX 5090向け事前学習レシピを公開――1.4T tokenの実測コストは6,891ドル

清華大学のPACMANチームと共同研究者らはPuro-2Bを公開し、「事前学習を最初から完全にやり直す」試みを、大規模研究所のプロジェクトから一般的な研究チームにも手の届く実験へと小型化することを目指した。これは単なる重みの公開ではない。Hugging Face collectionでは、モデル、データ、学習レシピ、異なるtoken予算のcheckpointも同時に提供されている。ライセンスはApache 2.0で、データの投入順序、optimizer、低精度計算が結果にどう相互作用するかを研究者が検証しやすくしている。

モデルは約20億parameterのdense decoder-only Transformerで、Qwen3-1.7Bの構成を踏襲しつつ、入力embeddingと出力headを分離している。学習はRTX 5090クラスター上で実施され、主要なlinear layerの行列乗算にはブロック単位FP8を使用する一方、master weights、optimizer state、精度に敏感な演算はBF16またはFP32のまま保持した。システムはMegatron Coreで実装され、MuonH、learning rate設計、curriculum model averagingを組み合わせている。

標準フローでは、まず24基のGPUで438.84B tokenを処理し、その後96基のGPUへ拡張する。完全版では第2段階で約960B tokenを追加し、合計は約1.4T token、有効GPU時間は22,514 GPU-hoursとなった。論文のレンタル相当額による算定では、コストは6,891ドルだった。短いuniform-data版は合計918.84B tokenで、コストは4,370ドルだった。著者らの報告では、数学、coding、reasoning、knowledgeに関する15種類のbenchmarkで、完全版モデルの平均スコアは57.81となり、Qwen2-1.5Bの55.14を上回ったものの、Qwen2.5-1.5Bの60.73には届かなかった。フィッティングしたcost scaling curveでも、約4,400ドルで従来のbaselineを超えられることが示されている。

本当に注目すべき点は、制御可能なend-to-end研究プラットフォームであることだ。チームは同一architectureのままデータカリキュラムを変更し、その後のpost-training効果を追跡できるため、異なるベンダーのweightsから因果関係を逆算する必要がない。ただし、「7,000ドル未満」という数字は物理クラスター構築のtotal cost of ownershipではなく、より大規模なモデルへ直接外挿することもできない。ネットワーク、ホスト、ストレージ、電力、障害による再実行、人件費によって、予算は依然として大幅に増える可能性がある。外部チームが次に行うべきなのは、縮小版レシピを再実行し、RTX 5090の長時間安定性、FP8の数値誤差、完全なデータソースを検証することだ。