開源模型與推論
K2 Horizon、6つのサイズを一挙公開：MoVAモデルは各tokenでvalue projectionの一部のみを有効化
IFMは0.9Bから375BまでのK2 Horizonモデルファミリーを公開した。36B版ではMoE routingをattentionのvalue projectionにまで拡張している。weightsとデプロイ手順は入手可能だが、公式が掲げる「完全なオープンソース」という主張は、実際の公開状況を先行している。
基盤モデル研究院（IFM）は、0.9B、3.7B、7B、32B、36B-A4B、375B-A23Bの6サイズで構成されるK2 HorizonをApache 2.0ライセンスで公開した。同一ファミリーでエッジデバイスからマルチGPUサーバーまでをカバーすることに加え、とりわけ注目すべきなのが36B-A4Bだ。このモデルはMixture-of-ExpertsとMixture-of-Values Attention（MoVA）を併用し、すべてのtokenが単一のvalue projectionを共有するのではなく、routerがtokenごとにvalue projection matrixの一部を選択する。model cardによると、保存されるparametersは約36Bだが、各tokenで有効化されるのは約4Bで、524,288-tokenのcontextをネイティブにサポートする。
デプロイについては、Transformers、vLLM、SGLang向けの手順がすでに提供されている。公式に検証されたSGLangの構成では、H200を2基、BF16、TP=2、EP=2、FlashAttention-3を使用し、数値的挙動を維持するために特定のrouter GEMM分割設定も必要となる。これはエンジニアリングチームにとって重要な注意点だ。「4Bのみを有効化」という表現はtokenごとの計算量を指すものであり、読み込むweightsが4Bだけで済むという意味ではない。また、一般消費者向けGPUで512KのKV cacheを容易に扱えることも意味しない。model cardに掲載されたTerminal-Bench 2.1やtau3-Bankingなどのスコアは、現時点では主に公開元が提示したものだ。同一のsamplingおよびinference設定で、第三者による再検証が求められる。
公開の透明性にも時間差がある。IFMのプレスリリースは、weights、code、training data、手法をすべて公開済みとしている。一方、36Bのmodel cardにはintermediate checkpoints、data、training codeを「今後公開する」と明記されている。現在直接ダウンロードできるのは、最終weights、model implementation、およびpost-training resourcesの一部だ。研究者は次の段階として、data recipe、完全なpre-training code、intermediate checkpointsが実際に公開されたかを確認する必要がある。さらに、異なるinference frameworks、quantization formats、long-context workloadsにおいて、MoVAが品質とthroughputを維持できるかを検証すべきだ。