Qwen3.8-Flash-Next、ブロックスパース注意機構とn-gramパラメータ拡張でQwen4の新アーキテクチャを先行検証

AlibabaのQwenチームは、実験的モデルQwen3.8-Flash-Nextを公開し、そのアーキテクチャがQwen4の基盤になるとしている。言語モデル本体は1,250億パラメータを持ち、各tokenで約60億パラメータを有効化する。これに加えて、510億個のbigram／trigram embeddingパラメータと、40億個のmulti-token prediction（MTP）パラメータを備える。ネイティブコンテキスト長は262,144 tokenで、100万tokenまで拡張できる。

中核となる変更は、Gated DeltaNetとQwen Sparse Attention（QSA）を交互に配置したことだ。QSAはtokenごとに注意対象の位置を選択するのではなく、micro-block単位でインデックスを構築し、各層で最大2,048 token相当のブロックを読み取る。理論上、これにより長いコンテキストのコストがシーケンス長に比例して増加しなくなる。新たに導入されたGated Residualは、データ依存のread gateと各分岐のwrite gateによって、拡幅された残差ストリームを制御する。チームは短いn-gramのルックアップテーブルも、計算負荷が低く、メインメモリへ容易にオフロードできる拡張軸と位置付け、ルーティングや行列乗算を必要とするMoEと併用している。

公式報告によると、Qwen3.8-Flash-NextはSWE-bench Proで62.5％、SWE-bench Multilingualで81.0％を記録し、いずれも同社の27B denseモデルを上回った。ただし、DeepSWEのスコアには2種類のagent harnessのうち高い方が採用されており、SWE-bench Proでは改訂後の問題を用いてベースラインを再実行しているため、公開リーダーボードとの単純な横比較はできない。長期的なオフィス業務やアプリケーション再構築に関するテストの一部も、社内ベンチマークである。

デプロイ手段としては、Transformers、vLLM、SGLang、TokenSpeedを利用する経路がすでに示されているが、新しい注意機構、n-gram embedding、MTPはいずれも最近のruntimeによるサポートを必要とする。エンジニアリングチームは、コンテキスト長ごとのVRAM使用量、time to first token（TTFT）、ブロックインデックスのオーバーヘッドを実測すべきだ。また、モデルのライセンスが、より一般的なApache 2.0ではなくQwen Community License 1.0である点にも注意が必要だ。