段階的に深層化するTransformerではPost-NormがPre-Normを逆転、9層の生徒モデルでCEが0.0328低下

現代のデコーダーは通常、attentionまたはMLPに入る前に正規化を行うPre-Normを採用し、全層を備えたモデルの初期化時における勾配の安定性を改善している。しかし、8月13日に提出された新たな研究は、モデルの全層を一度に学習するのではなく、浅い構成から深い構成へとblockを段階的に追加する場合、この慣例を再評価する必要がある可能性を示している。

研究では、36層のQwen3-8B-Baseを凍結した教師モデルとして使用し、9つのdecoder layerと約30.9億パラメータを持つ生徒モデルを構築した。9層すべてを同時に学習した場合、Pre-NormとPost-Normの検証交差エントロピーの差はわずか0.0004だった。一方、3段階のdepth-growing curriculumを採用すると、Post-NormのCEはPre-Normより0.0328低くなった。学習token数を増やし、active-layer token数を一致させ、学習率を再スタートさせた固定深度の対照モデルでも、最終CEはPost-Norm成長モデルの2.7330を上回った。このことは、差を追加の計算量だけでは説明できないことを示している。

診断結果は、考えられるメカニズムを示している。新たに追加されたblockが受け取るのは、すでに学習済みの前段部分が生成したresidual streamである。Pre-Normはblock間の出力スケールを直接制約しないため、tokenごとのRMSの標準偏差は5.81から19.98へとドリフトした。一方、Post-Normでは約0.07〜0.19に維持された。このドリフトは、特に文書境界などの構造tokenに集中していた。最後に追加されたPre-Norm成長blockを取り除いてもCEの変化はわずか0.02であり、その層がidentity mappingに近いことが示された。これに対し、Post-Norm成長blockはいずれを取り除いても、CEが少なくとも2.38上昇した。

これは、段階的な事前学習、モデルの深層化、蒸留スケジュールに直接的な意味を持つ。アーキテクチャ探索では、normalization placementとgrowth scheduleを組み合わせたハイパーパラメータとして扱うべきである。ただし、証拠は単一のQwen教師モデル、9層の生徒モデル、31.1億tokenの固定データshard、特定の蒸留設定に限られている。また、著者らが示したのは相関に基づく診断のみで、residualのスケールにはまだ直接介入していない。次のステップでは、より深いモデル、異なるデータ分布、ゼロからの事前学習において、この優劣の逆転を再現する必要がある。