Nanbeige4.2-3B、Looped Transformerでエージェントモデルを圧縮――埋め込みを除く3Bパラメータで256Kコンテキストに対応

Nanbeige Labは、Apache 2.0ライセンスのNanbeige4.2-3Bを発表した。モデル全体では約4Bパラメータを持ち、そのうち埋め込みを除くパラメータは3Bで、最長262,144 tokenに対応する。中核となるのはLooped Transformerで、独立した重みを増やす代わりに、同一の層セットを繰り返し実行して実効的な計算深度を高める。この設計はストレージ要件を抑える一方、推論コストが一般的な3Bモデルと同等であることを意味しない。層スタックを繰り返し通過する処理には、依然として計算リソースが必要だからだ。

学習レシピは、一般的な推論とエージェントタスクの両方を対象としている。チームによると、ベースモデルは28T tokenを使用してゼロから事前学習された。SFT段階では、実環境と合成環境の両方に由来する実行可能環境、タスクアセット、複数のエージェントscaffoldを組み合わせ、軌跡レベルと単一ターンレベルでデータをフィルタリングした。事後学習では、Think／Non-Think RLHF、推論長を制限する強化学習、さらに結果報酬とプロセス報酬を併用するagentic RLを組み合わせている。

公式レポートでは、SWE-bench Verified、SWE-bench Pro、Terminal-Bench 2.0で、それぞれ63.6、46.9、44.1を記録した。OpenClawを使用してローカルアシスタントのタスクを評価した際にも、6項目すべてでQwen3.5-9Bを上回った。モデルカードには、Transformers、SGLang、vLLM、llama.cpp、Ollama向けの導入手順が用意されている。ただし、一部のバックエンドではNanbeigeが保守するフォークが必要であり、Transformersの重みを読み込む際には`trust_remote_code=True`の指定も求められる。

エンジニアリングチームは、「パラメータ数が少ないこと」と「実際のレイテンシ、メモリ使用量、消費電力が低いこと」を分けて検証すべきだ。複数の比較ではNanbeige独自のscaffoldまたは社内ベンチマークが使用され、推論モードも過去のthinkingを保持するよう固定されている。現時点では、フレームワーク間でtoken予算とハードウェア条件を揃えた第三者による評価が不足している。