Kimi K3の完全版ウェイトが正式公開、2.8T MoEがAPI提供からセルフホスティングへ

Moonshot AIは7月27日、Hugging FaceでKimi K3の完全版ウェイト、モデルカード、技術レポートを公開し、事前に予告していたオープンウェイト計画を実行に移した。K3は当初、主にMoonshotのアプリケーションとAPIを通じて提供されていた。当時から2.8兆パラメータのスパースMoEアーキテクチャと、後日ウェイトを公開する方針は示されていたものの、外部からモデルを直接調査したり、セルフホスティング時の性能を検証したりすることはできなかった。今回の公開により、研究者やエンジニアリングチームは実際のウェイトを監査、測定、変更できるようになり、議論の焦点もエンドポイントの能力からインフラ、ライセンス、再現性へと移りつつある。

K3はネイティブ・マルチモーダルモデルで、896個のエキスパートを備え、各tokenにつき16個を選択するほか、2個の共有エキスパートを持つ。総パラメータ数は2.8Tで、1回のforward passでは約104Bがアクティブになる。93層のネットワークは、69層のKimi Delta Attention（KDA）と24層のGated MLAで構成され、Attention Residualsによって異なる深さの表現を選択的に取得する。Moonshotは、Stable LatentMoEと新たな学習レシピにより、scaling efficiencyがKimi K2の約2.5倍になったとしている。ただし、この結果については、外部による同一定義に基づく再現が待たれる。

公開ウェイトには、量子化認識学習によるMXFP4が採用され、activationにはMXFP8が使われている。モデルカードに記載された最大コンテキスト長は1,048,576 token。低精度フォーマットによってストレージと計算負荷は軽減できるものの、デプロイ要件は依然として非常に高い。公式は、大規模かつ高帯域幅の通信ドメインを備えたsupernodeと、少なくとも64基のアクセラレーターの使用を推奨している。vLLM、SGLang、Transformersにはすでに起動手順が用意されているが、KDAのprefix cacheには専用実装が必要となる。また、Transformersのサンプルでは`trust_remote_code=True`を有効にする必要があるため、各チームは実行前にリモートのカスタムコードとKimi K3のライセンス条項を確認すべきだ。

公式技術レポートでは、Terminal-Bench 2.1で88.3、DeepSWEで67.5というスコアが示されている。しかし、比較対象モデルにはKimi Code、Claude Code、Codexなど、それぞれ異なるエージェントharnessが使用されており、一部のタスクはH20上で再キャリブレーションも行われている。そのため、これらのスコアを完全に同一条件での比較とみなすべきではない。また、このモデルはthinking historyを完全に保持することにも依存している。エージェントが処理の途中で別のモデルに切り替えたり、フレームワークが既存の推論履歴を返さなかったりすると、出力品質が大きく不安定になる可能性がある。ウェイトが公開された今、次の焦点は、コミュニティが同一のharnessでエージェントベンチマークを再実行できるか、そしてオープンソースの推論バックエンドがそのスループットと長大なコンテキスト処理能力を再現できるかに移る。