Kimi K3.1 Proが重みを公開、vLLMが8 GPU向けデプロイレシピを提供

Moonshot AIはKimi K3.1 Proの重みを公開し、これまで製品やAPI経由で提供していたモデルをセルフデプロイできるようにしました。公式は11月4日までの公開を予告しており、現在はHugging Faceで重み、設定、処理コードを入手できます。リポジトリのサイズは約1.56 TBです。チームは自社環境でモデルをテストできるようになり、次の検証ではデプロイコストと結果の再現性が焦点になります。公式紹介、重みファイル

モデルはMixture-of-Expertsアーキテクチャを採用し、総パラメータ数は2.8兆、各トークンで有効になるパラメータは約1,040億です。テキストと画像に対応し、コンテキスト長は1,048,576トークンです。K3と比べ、アーキテクチャでは従来の全注意層をGated DSA疎注意機構に置き換え、Kimi Delta Attentionを組み合わせています。モデルカードには、MXFP4重みとMXFP8活性化値を用いる量子化認識学習の設定が記載されています。有効パラメータが少ないことで計算量を抑えられますが、すべてのエキスパートの重みを保持するため、依然として大容量のストレージが必要です。モデルカード

11月5日に更新されたvLLMレシピは、2基のGB300トレイまたは1台のB300ノードを使う構成など、8 GPUのテンソル並列処理を基準とし、MI355X構成も掲載しています。長いコンテキストにはDCP8による分散キャッシュを利用できます。ドキュメントによると、一般的なTP8より容量を拡大できますが、同じバッチのデコードステップは7〜25%遅くなる可能性があります。そのため、デプロイ構成は長時間の会話数、キャッシュ要件、レイテンシ目標に応じて選ぶ必要があり、最大コンテキスト長だけで判断することはできません。vLLMデプロイレシピ

エージェントとの統合にも明確な要件があります。複数ターンの対話やツール呼び出しでは、reasoning_contentとtool_callsを含むassistantメッセージ全体を返す必要があります。公式が公表したTerminal-Bench 4.0のスコアは65.7%ですが、指定のエージェントフレームワークと推論設定を使用しています。モデル間で比較する際は、テスト条件の確認が必要です。中国語のエンジニアリングタスクも独自に再テストするべきです。モデルカードと評価に関する注記

商用利用について、重みには独自ライセンスが適用されます。モデルサービスを運営し、所定の収益基準に達した事業者は別途契約が必要です。大規模な製品には表示要件と例外条項もあります。エンジニアリングチームはまず推論バージョンを固定し、ツール呼び出し、長文コンテキストでの正確性、実際のスループットを検証してから、サービス規模を決めるべきです。ライセンス全文