MiniCPM5-2B、全トレーニング段階とエッジ向け形式を公開――16のRLエキスパートを単一モデルへ蒸留

OpenBMBは9月13日、MiniCPM5-2Bシリーズを一斉に公開した。名称の2Bは、埋め込みを除く約19億8,200万パラメータを指す。モデル全体では2,516,756,480パラメータ、42層で、16個のクエリヘッドと2個のKVヘッドによるGrouped Query Attentionを採用し、ネイティブのコンテキスト長は131,072 tokenとなっている。標準の`LlamaForCausalLM`を踏襲しているため、Transformers、vLLM、SGLangではカスタムモデルコードを読み込む必要がない。

今回注目すべきなのは、最終checkpointだけではない。チームはBase、Midtrain、SFT、RL＋OPDの各バージョンに加え、BF16、GGUF、MLX 4-bit、GPTQ 4-bit、LiteRT、および複数種類のチップ向けイメージを同時に提供しており、研究者は能力がどのトレーニング段階で現れたかを追跡できる。OPDは、RLでトレーニングした16のエキスパートモデルを単一の学生モデルへ圧縮する。このうち5モデルはエージェントタスクに特化している。蒸留では、教師と学生の完全な語彙分布間のreverse KL divergenceを位置ごとのadvantageとして用いるため、蒸留用データセットを別途作成する必要がない。公式発表によると、RL＋OPDにより推論／汎用能力は平均10.96ポイント、エージェント能力は6.96ポイント向上した。

モデルカードに記載された総合平均スコアは53.9で、同じ表における最高性能の4Bクラスモデルの51.1を上回る。LiveCodeBench v6は69.1、AIME 2025は86.5だった。ただし、これらは開発チームによる自己評価であり、平均値には異なる尺度やタスクが混在しているため、エッジ環境でのレイテンシ、メモリ使用量、実際のツール実行成功率の検証に代わるものではない。デプロイには、もう一つ互換性上の落とし穴がある。モデルはXML形式のツール呼び出しを出力し、ドキュメントではSGLangがすでに`minicpm5` parserに対応しているとされているものの、付属のデプロイスキルには、pip版にはまだ含まれていない可能性があり、SGLangのmainブランチをインストールする必要があると記載されている。エンジニアリングチームはruntime commitを固定し、128Kコンテキスト利用時のメモリ使用量と、DSparkによる投機的デコーディングの実効acceptance rateを個別に検証すべきだ。