Qwen3.8、Max級として初めて2.4Tパラメータの重みを公開、各tokenで95Bを有効化

AlibabaのQwenは8月12日、Qwen3.8‑2.4T‑A95Bを公開し、Max級モデルの重みを初めてコミュニティに提供した。モデルの総パラメータ数は2.4兆で、各tokenでは95Bを有効化する。92層のネットワークは23組のブロックで構成され、各ブロックには3層のGated DeltaNet線形Attentionと1層の標準Gated Attentionが含まれる。MoE層には512のエキスパートがあり、毎回10のルーティング対象エキスパートと1つの共有エキスパートを選択するほか、multi-token predictionによる学習も採用している。ネイティブのコンテキスト長は262,144 tokenで、約101万tokenまで拡張できる。

現在のオープン版はテキスト専用モデルで、すべての応答で思考モードが必須となる。`reasoning_effort`にはlow、medium、xhighの3段階が用意され、`preserve_thinking`を使えば、以前の推論をマルチターンのメッセージ内に保持できる。これらのインターフェースは長時間稼働するエージェントにとって特に重要だ。エンジニアはプロンプトを書き換えたりモデルを切り替えたりせず、推論予算によってレイテンシーとコストを調整できる。重みはvLLM、SGLang、TokenSpeedに対応済みだが、2.4TパラメータのBF16ファイルを完全にデプロイするには、マルチノード構成、expert parallelism、大容量ストレージが必要となる。「各tokenで有効になるのは95Bだけ」という説明を、「95B分の重みだけをロードすればよい」という意味に誤解してはならない。

公式テストによると、Qwen3.8‑MaxはTerminal Bench 2.1で86.6、SWE‑bench Proで67.7を記録し、Qwen3.7‑Maxの74.5および60.6から向上した。PaperBenchでは93.0と報告されている。ただし、複数の結果でClaude Code、OpenCode、またはQwen独自のharnessが使用されており、一部のベンチマークには内部データも含まれるため、完全に条件をそろえた横断比較にはなっていない。オープンウェイトモデルとクラウド版Qwen3.8‑Maxも同一ではない。クラウド版は別途、画像入力、非思考モード、デフォルトで1Mのコンテキスト、組み込みツールに対応している。今後は、第三者による独立再現、異なるexpert-parallel構成でのスループット、推論予算を削減した場合にもエージェントの成功率を維持できるかどうかを注視すべきだ。