GitHub Repo
Nanbeige4.2-3B、Looped Transformerでエージェントモデルを圧縮――埋め込みを除く3Bパラメータで256Kコンテキストに対応
Nanbeige Labは、28兆tokenを用いてゼロから事前学習したNanbeige4.2-3Bを公開した。同一のTransformer層を繰り返し使用し、パラメータを増やさずに計算深度を高める。公式のエージェント評価では、より大規模なQwen3.5-9Bを概ね上回ったが、結果は独自の実行フレームワークに大きく依存しており、独立した再現検証がなお必要だ。