Mimir 1B、深い層の積み重ねを階層型リカレント構造に置き換え、デンマーク語ベンチマーク平均で評価対象の9Bモデルを上回る

デンマークのFoundation Modelsチームは、Hierarchical Reasoning Model Textアーキテクチャを採用した10億パラメータモデル、Mimir v1を公開した。Transformerの層を単純に深く積み重ねるのではなく、32層、隠れ状態1,536次元を基盤に、2回の高レベルループと3回の低レベルループを構成し、同一の計算モジュールで表現を繰り返し修正する。学習時には、Truncated Backpropagation Through Timeによって最長勾配経路を5ステップに制限した。モデルはGemma 4 tokenizer、4,096 tokenのコンテキスト、PrefixLMを使用しており、現時点では推論時にFlashAttentionを正しく設定する必要がある。

学習データの混合セットは161のデータセットで構成され、1エポック当たり約704.8億tokenがサンプリングされる。このうち英語が68.6%、デンマーク語が24.7%を占める。チームはさらに、データポリシーに適合しない既存の指示タスクの代替として、Gemma 4 31Bを用いて「移植データ」を生成・検証した。モデル全体は8基のB200、グローバルbatch size 262,144 tokenという構成で165万step学習され、所要期間は3週間未満だった。

開発者は統一されたgreedy decoding設定で評価を実施し、Mimirは英語7項目の平均で69.0を記録した。これはQwen 3.5 4Bの69.3をわずかに下回る。GSM8K、MATH、HumanEvalの平均は64.1だった。デンマーク語10項目の平均は56.8に達し、同規模のモデルだけでなく、評価対象となったMunin 8Bおよび9Bシリーズも上回った。ただし、これらの比較は公開チーム自身が実施したものであり、プロンプト形式、PrefixLMのサポート、各モデルの推論モードは完全に同等ではない。Mimirの数学およびコーディング能力は依然としてGemma 4 E2Bに及ばず、開発者も汎用アシスタントとしての能力はまだフロンティア水準に達していないと認めている。

低リソース言語のエンジニアリングという観点では、HRMがほかの言語、より長いコンテキスト、強化学習後にも優位性を維持できるかが、今後さらに注目すべき点となる。データポリシーについても精査が必要だ。契約に基づいて提供された一部のコーパスは公開できず、別のコーパスはEUの研究機関に認められたText and Data Mining例外規定に基づいて使用されている。したがって、ここで示されているのは監査可能な学習レシピであり、すべてのtokenを自由に再配布できる完全なオープンコーパスではない。