Kimi K3、2.8T MoEの重みを公開――104Bのアクティブパラメータでセルフホスティングのハードルはクラスター級に

Moonshot AIは7月27日、Kimi K3のモデル重みと技術レポートを公開し、7月中旬の製品発表時には提供されていなかった中核資産を補完した。K3は総パラメータ数2.8兆、tokenごとに1040億パラメータをアクティブ化する疎なMixture of Experts（MoE）モデルだ。ルーターは896個の専門家から16個を選択し、それとは別に共有専門家も保持する。モデルにはMoonViT-V2視覚エンコーダーが統合され、テキスト、画像、動画を処理できる。公称コンテキスト上限は100万tokenである。

アーキテクチャ上の要点は、規模だけではない。Kimi Delta Attentionは有限状態を用いて履歴情報の一部を圧縮し、長いシーケンスにおけるAttentionのコストを削減する。Attention Residualsは、従来の層ごとの残差伝播だけに依存せず、異なる層が過去のAttention出力を直接混合できるようにする。Moonshot AIはまた、メモリトラフィックとデプロイコストを抑えるため、MoE重みの大部分をMXFP4で保存している。これらの設計により「ステップごとの計算量」は2.8TのDenseモデルを大きく下回るが、専門家の全セットをロードするために必要なストレージ容量やGPU間通信が不要になるわけではない。

技術レポートによると、K3は長期的なソフトウェア開発、ターミナルツール、視覚エージェント、一般知識の評価で複数のオープンモデルや既存の商用モデルを上回る一方、総合的にはClaude Fable 5とGPT-5.6 Solに及ばない。これらの比較は主にMoonshot AIが実施したものであり、使用するagent harness、推論予算、ツール環境によって結果が大きく左右される可能性があるため、単一のランキングだけを見るべきではない。

エンジニアリングチームにとって本当に新しい点は、APIに新たな名前が加わったことではなく、検証、定量化、改変が可能な重みが実際に提供されたことだ。今後は、vLLMやSGLangなどのランタイムがKDA、視覚入力、Expert Parallelismを正式にサポートするか、またコミュニティが同一のharness上で長期的なエージェント性能を再現できるかに注目すべきだ。ライセンスは幅広い商用利用を認めているものの、セルフホスティングを行うチームは、TB級を超える重み、ノード間帯域幅、100万tokenのコンテキストに伴うKV状態について、実際のコストを事前に見積もる必要がある。