MiniCPM5-2B、学習データとエッジ展開形式を公開するも、量子化版のサンプリング既定値に疑問の声

OpenBMBは、エッジ環境で実行可能なテキスト推論・agent modelとして位置付ける[MiniCPM5-2B](https://huggingface.co/openbmb/MiniCPM5-2B)を公開した。標準の`LlamaForCausalLM`アーキテクチャを採用し、全42層、約25億2,000万parametersで構成され、そのうち約19億8,000万がnon-embedding parametersとなる。GQAは16 query heads、2 KV headsという構成で、コンテキスト上限は131,072 tokens。Apache 2.0ライセンスのweightsに加え、チームはBase、Midtrain、SFT、RL／OPDの完成版checkpoints、およびGGUF、MLX、GPTQ、LiteRT、DSparkのdraft modelも提供している。

今回の公開で研究上特に価値があるのは、データとpost-training pipelineも併せて開放された点だ。公式情報では、Web事前学習データのUltraX、難易度別のコードデータ、50万件のagent SFT samples、さらに数学、コード、long-contextを対象とした8万件超のRL samplesが挙げられている。post-trainingでは、まずSFTを実施し、続いて数学、コード、agentなどのexpert modelsを学習。最後にOn-Policy Distillationで16のRL expertsを統合する。この手法では、回答validatorのスコアだけに依存するのではなく、teacher modelとstudent modelの完全なtoken probability distributionsに対するreverse KL divergenceを用いてadvantageを構築する。

公式が選定したベンチマークの平均スコアは53.9で、表に掲載された複数のより大規模な比較モデルを上回った。一方、独立評価機関の[Artificial Analysis](https://artificialanalysis.ai/models/minicpm5-2b/)は現在、Intelligence Indexを15としており、4B未満のopen-weight modelsでは依然として首位に位置付けている。ただし、両者では集計方法、prompt、推論budgetが異なるため、数値を直接比較することはできない。また、評価対象となったAPI providersについて、速度、time to first token、コストのデータはまだ提供されていない。

展開面では、すでに重要な警告も出ている。あるユーザーが公式設定の`temperature=1.0、top_p=0.95`を使用し、RTX 3060上で公式Q8およびQ4 GGUFをテストしたところ、repeat penaltyを設定しない場合、多くの出力がループに陥ったと報告した。約1.15のpenaltyを追加すると、明確な改善が見られたという。これは単一マシン、単一プログラムによるコミュニティ評価であり、修正後の試行も含まれるため、汎用的な最適値とは見なせない。それでもエンジニアリングチームは、model cardの既定値を採用する前に、実際に使用する量子化形式で反復率、停止条件、ツール呼び出し成功率、long-context時のメモリ使用量を検証すべきだ。