DeepSeek、V4.1-Flashの圧縮設計を公開　グローバルKVキャッシュを1トークン当たり890バイトに

DeepSeekは9月17日、V4.1-Flashの技術報告を公開し、長期にわたるタスクを実行するエージェントが、コンテキストの保存と再読み込みにかかるコストを削減する仕組みを詳しく説明した。モデルは100万トークンに対応する。報告では最適化をプリフィル計算、グローバルキャッシュ、永続化する状態の3つに分け、導入側が演算能力、GPUメモリ、ディスクのボトルネックを個別に検討できるようにしている。[技術報告](https://arxiv.org/abs/2609.19969)

因果的エンコーダー・デコーダーアーキテクチャでは、40層のネットワークを前半と後半の各20層に分割する。デコーダーのグローバルなキーとバリューは、エンコーダーの最終状態を射影して生成するため、大半の入力では後半の計算をすべて実行する必要がなくなる。これにより、1トークン当たりのアクティブパラメータ数はプリフィル時に8B、デコード時に16Bとなる。ただし、バックボーンには依然として552Bのパラメータがあり、さらにEngram条件付きメモリも備えるため、ハードウェア要件はアクティブパラメータ数だけでは判断できない。[モデルカード](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)

キャッシュについては、CSA2により、各層がキーとバリューを独自に生成するか、共有したキーとバリューを再インデックスするか、スパースアテンションの選択結果まで含めて再利用するかを選べる。FP4のメインキャッシュと組み合わせることで、グローバルKVキャッシュは1トークン当たり890バイトと、前世代の約4分の1に削減される。この数値の対象はグローバルキャッシュのみであり、実際の導入に必要な容量には、ローカル状態、重み、その他の実行時メモリも加える必要がある。[アーキテクチャの説明](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)

もう一つの設計では、直近のスライディングウィンドウ1つ分だけを再実行し、ローカルアテンションの状態を近似的に再構築する。これにより、その状態をSSDに長期保存する必要がなくなる。著者らによると、永続化するKVの容量は前世代の約8分の1に削減される。ただし、再構築された状態は数学的に完全に等価ではない。論文でも、スパースな選択やキャッシュ復元の境界で、まだ検出されていない能力の低下が生じる可能性を認めている。[再構築の方法と制約](https://arxiv.org/html/2609.19969v1)

公開された最小構成の推論コードはアーキテクチャの確認に役立つが、生成には通常の自己回帰方式を使用している。ドラフトモデルの順伝播経路が含まれていても、それだけで投機的デコーディングの性能を完全に再現しているとは判断できない。組み込みのセルフテストは未初期化の重みを使用し、テンソルの形状とカーネル間の接続のみを検証するもので、数値的な正しさは検証しない。[推論実装](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/inference/README.md)

エンジニアリングの観点では、この設計は保存コストを限定的な再計算に置き換えるものであり、特に複数ターンにわたってツールからの応答を受け取る条件で検証する価値がある。今後は、キャッシュヒット時と復元時のレイテンシ、長文に対するスパース検索の正確性、GPUメモリの総使用量を比較し、圧縮によってサービスの処理容量を増やせるかを判断する必要がある。入力が増え続けるエージェントでは、プレフィックスの保存、ノード間の転送、復元の品質を併せて評価しなければならない。短いプロンプトで測定した生成速度では、長時間のタスクで過去の状態を再利用する際のコスト全体を捉えることはできない。