Qwen3.8-Flash-Next、線形アテンションとブロック疎検索を組み合わせ、Qwen4アーキテクチャを先行公開

AlibabaのQwenチームは、次世代Qwen4アーキテクチャの実験的プレビューと位置付けられるQwen3.8-Flash-Nextをリリースした。言語バックボーンは合計125Bパラメータで、各tokenにつき約6Bパラメータを活性化する。これとは別に、51Bのn-gram embeddingと4Bのmulti-token predictionモジュールを備える。モデルには視覚エンコーダーも含まれ、ネイティブコンテキスト長は262,144 token、YaRNにより100万tokenまで拡張できる。重みには`qwen-community-1.0`が適用され、Transformers、vLLM、SGLang、TokenSpeed向けのロード手段も提供されている。

中核となる変更は、48層を「3層のGated DeltaNetと1層のQwen Sparse Attention」という反復構造にした点だ。DeltaNetは固定サイズの再帰状態に履歴を圧縮し、各層のKV cacheがシーケンス長に比例して増大するのを防ぐ。一方、QSAはtokenを小規模なブロックにまとめ、まず各ブロックの重要度を推定したうえで、完全なコンテキストから最大512ブロック、合計2,048 tokenを選択して厳密なアテンションを実行する。token単位で疎インデックスを構築する方式に比べ、長いコンテキストにおけるインデックス作成コストを制御しやすい一方、検索器が選択しなかった詳細は、その層のアテンションに入力されないことを意味する。

公式報告によると、QSA kernelはfull attentionと比較して、prefillで最大7.6倍、decodeで最大4.9倍の高速化を達成した。100万tokenかつprefix cacheのヒット率が90%という特定のサービングテストでは、prefill throughputがQwen3.7-Plusの8.6倍だった。NVIDIAはさらに、FP8とGB300 NVL72を使用し、GPU 1基当たりピーク16,000 token/s超を測定した。ただし、これはラックスケールのハードウェアで得られたPareto frontier上のピーク値であり、単一マシンでのレイテンシや一般的な並行処理コストを直接推定することはできない。

モデルカードに記載されたスコアは、SWE-bench Proが62.5、DeepSWE 1.1が58.7である。一部のテストでは独自benchmarkや改訂版の問題を使用しているほか、2種類のharnessのうち高い方の結果を採用しているため、現時点では独立したランキングとは見なせない。エンジニアリングチームが次に注視すべき点は、各フレームワークにおけるQSA kernelの成熟度、長いコンテキストでの検索漏れ、そして51Bのn-gramパラメータがVRAM、オフロード帯域幅、量子化品質にもたらす実際のコストだ。