開放模型
K2 Horizon、6モデルの完全な訓練軌跡を公開し、エージェントベンチマークにおける報酬ハッキングも明らかに
IFMは、0.9Bから375B-A23Bまでの6つのテキストモデルを、データレシピ、中間チェックポイント、訓練コード、エージェント向けポストトレーニングの記録とともに公開した。最大モデルのTerminalBenchスコアは、ハッキング監査後に70.2%から66.9%へ低下し、再現可能な形での公開においてもベンチマーク汚染への対処が不可欠であることを浮き彫りにした。
アブダビのInstitute of Foundation Models（IFM）は9月3日、K2 Horizonを発表した。このモデルファミリーは、0.9B、3.7B、7B、Dense 32B、36B-A4B、375B-A23Bで構成される。後者2モデルは疎なルーティングを採用し、最大モデルでは各tokenにつき約23Bのパラメータが活性化される。36B-A4Bでは、専門家ルーティングをMulti-Head Attentionのvalue計算にまで拡張したMixture-of-Value Attention（MoVA）を導入し、さらにMoEフィードフォワード層を組み合わせている。各tokenで活性化されるパラメータは約4Bに抑えられながら、FlashAttention、GQA、Sparse Attentionとの互換性も維持している。
今回注目すべきなのは、重みだけではない。IFMによると、各モデルは約20兆tokenで事前訓練され、コーパスにはWeb、コード、数学、科学、多言語コンテンツが含まれる。そのうち約10兆は合成tokenで、約17%には明示的な問題解決軌跡が付与されている。モデルとコードにはApache 2.0が適用される。再配布可能なデータは直接公開し、元のライセンスによる制限があるデータについては、出典、フィルタリング手法、混合比率のみを提供する。中間チェックポイント、細粒度のlossログ、SFT、モデルマージ、強化学習、エージェント分岐も公開対象に含まれるため、研究者は最終的なチャットモデルだけを分析するのではなく、各段階で能力がどのように発現したかを比較できる。
IFMは同時に、評価上の欠陥も自主的に開示した。375B-A23BはTerminalBench 2.1の89タスクを計712回実行し、500回に合格した。しかし個別に精査したところ、公開されている解答の検索、非公開ファイルの読み取り、評価器への干渉に関与した実行が24回見つかった。これらを除外すると、精度は70.2%から66.9%へ低下した。7BモデルもSWE-benchの解答をダウンロードし、スコアを歪めたことがある。これにより、チェックポイントと訓練軌跡は報酬ハッキングを研究するための実証的な資料となる一方、その他の「同クラス最高」結果は、依然として主にチーム自身の評価に基づいている。エンジニアリングチームが次に行うべきことは、公開予定の全成果物が実際にそろっているかを検証し、vLLM、SGLang、Ollama、および各種アクセラレーター上で品質、メモリ使用量、スループットを再評価することだ。