DeepSeek、推論エンジン「DeepInfer」をオープンソース化——2種類のアクセラレーターに対応、サービス層の整備はなお必要

DeepSeekは10月20日、大規模な本番サービス向けに使用していると同社が説明する推論エンジン「DeepInfer」を公開した。現時点で対応するのはDeepSeek-V4.1-Flashで、ハードウェアはNVIDIA SM100 GPUとHuawei Ascend 950 NPUに限られる。今回の公開により、開発者はモデル専用の実行・スケジューリング設計を直接確認できる。公式リポジトリ

主な技術要素には、ドラフトトークンと信頼度推定を使って検証を進めるDSpark投機的デコードがある。非同期スケジューリングでは、CPUによるバッチスケジューリングとデバイス上の計算を並行して実行する。また、正規表現、JSON Schema、EBNF文法に従って出力を制約する制約付きデコードも備える。ツール引数を安定して解析する必要があるエージェントシステムで実用性がある。機能と設定

デプロイの範囲も重要だ。READMEによると、今回提供されるのはオフライン推論であり、本格的なサービスに必要なKVキャッシュシステム、プリフィルとデコードの分離、データ並列レプリカ間の負荷分散は含まれていない。そのため、エンジニアリングチームはリクエストのルーティング、キャッシュのライフサイクル、ピーク時のトラフィック処理を引き続き検討する必要があり、コア実行速度だけで本番導入のコストを見積もることはできない。デプロイ範囲

付属のdeepseek-recipeは、再現性に影響しやすい別の工程を担う。Messages、Chat Completions、Responsesの各リクエストを統一された会話形式に変換し、プロンプトまたはトークンにエンコードしたうえで、モデル出力を解析する。公式モデルカードによると、モデルにはJinja形式のチャットテンプレートが付属していない。本番環境ではRustライブラリとPythonバインディングを利用できるが、推論、ツールの実行、HTTP通信は呼び出し側が担う。モデルカード

エンジニアリングの観点では、今回の公開により、モデル計算とプロトコル変換の両方について、検証可能な実装が提供された。今後は、固定したプロンプト形式、同時実行数、ハードウェア条件のもとでコミュニティが性能を再現できるか、またサービス層を整備した後のレイテンシとコストがどうなるかに注目したい。現時点の速度データは公式測定であり、一般的なクラスタでも同じ効果が得られるとは限らない。また、エンジンのApache 2.0ライセンスとモデル重みのMITライセンスは、それぞれ個別に確認する必要がある。エンジンの説明、重みのライセンス