DeepSeek V4.1 Flash、非対称エンコーダー・デコーダーでKV cacheを圧縮、旧モデルのエンドポイントはリルーティングへ

DeepSeekは9月10日、V4.1 Flashをリリースした。中核となる変更は単なるパラメータ数の拡大ではなく、40層のTransformerを20層のCausal Encoderと20層のDecoderに分割した点にある。Decoderは各層で完全な入力KVを個別に保持せず、Encoderの最終状態からグローバルKVを投影する。これにより、pre-fill時とdecode時に有効化されるパラメータは、それぞれ約8Bと16Bに抑えられる。さらにCSA2を採用し、Attention層間でKV、index key、Top-K結果を共有するとともに、bounded replayによってsliding windowの状態を再構築する。メインKVにはE2M1 FP4を使用し、16 channelごとに1つのE4M3 scaleを共有する。公式によると、グローバルcacheはtoken当たり890 bytesまで削減され、前世代のおよそ4分の1となった。SSDへ永続化した場合の使用量は約8分の1にまで減少しており、長い履歴を扱うマルチターンのtool agentにとって特に重要な改善となる。

モデルは552Bのbackbone、196BのEngram conditional memory、ゼロから学習したDeepSeek-ViTで構成され、学習データは45T token、コンテキスト長は100万tokenに達する。これは、ページごとに「モデルサイズ」の表記が異なる理由でもある。リリース記事ではbackboneのみを基準に552Bとされている一方、Hugging Faceのインターフェースでは約763Bと表示されるため、デプロイ担当者は前者を完全なweight規模と直接見なすべきではない。公式は、大規模なセルフホスティングには約2,000基のGPUが必要になる可能性があるとも述べている。MITライセンスでweightが公開されていても、一般的なチームが低コストで導入できることを意味するわけではない。

API移行のリスクは、より差し迫っている。`deepseek-v4-flash`と視覚実験用エンドポイントは、すでに一時的にV4.1 Flashへ転送されている。さらに9月14日正午からV4.1 Proが公開されるまでの間、`deepseek-v4-pro`も同モデルへリルーティングされ、Flashの料金で課金される。公式はTerminal-Bench 2.1やDeepSWEなどのagent benchmarkで大幅な向上を報告しているが、その結果は最高のreasoning effort、特定のagent scaffold、最大100万tokenのコンテキストを使用したものであり、一部の比較は内部評価に基づいている。エンジニアリングチームは旧バージョンの回帰テスト用サンプルを保存し、time to first token、cache hit時のコスト、視覚入力、tool callingのフォーマットを個別に測定すべきである。モデルのaliasだけを根拠に、挙動の互換性を想定してはならない。