Kimi K3、2.8兆パラメータのMoEでオープンウェイトモデルを3兆規模へ

Moonshot AIは7月16日、3兆パラメータ規模に迫るオープンウェイトモデルと位置付けるKimi K3を発表した。公開情報によると、総パラメータ数は2.8兆、エキスパート数は896で、各tokenにつき16個を選択する。約100万tokenのコンテキストとネイティブな視覚機能も備える。アーキテクチャには、Kimi Delta Attentionによるハイブリッド線形Attentionと、レイヤー間の情報伝達を調整するAttention Residualsが組み込まれている。ポストトレーニング段階では量子化認識トレーニング（QAT）を導入し、対象フォーマットにはMXFP4ウェイトとMXFP8 activationが含まれる。

MoEの低い活性化率により、tokenあたりの計算量を総パラメータ規模より大幅に抑えられるが、メモリ、通信、デプロイに関する課題がなくなるわけではない。896個のエキスパートには、効率的なルーティング、ロードバランシング、all-to-all通信が必要となる。ノード間帯域幅が不足すれば、理論上のスパース計算の利点が通信待ちによって相殺される可能性がある。100万tokenのコンテキストについても、最大長だけでなく、長いシーケンスからの情報検索、位置バイアス、KV cacheの使用量、複数ターンにわたるエージェント状態の一貫性を測定する必要がある。

Moonshotが公表したコーディングおよびエージェントのベンチマークでは、K3は一部のクローズドソースのフロンティアモデルに迫り、フロントエンド開発のブラインドテストでも優れた性能を示している。ただし、数値の大半は発表元または単一のランキングに由来する。完全なウェイトの実際の提供時期、ライセンス条件、量子化チェックポイントの品質、最小クラスタ要件によって、広範なセルフホスティングが本当に可能かどうかが決まる。研究者はさらに、エキスパートの利用率、言語間の能力差、最新世代ではないハードウェアにおける低精度フォーマットの互換性も検証すべきだ。