最新模型
Qwen3.8-27B、線形／フルアテンションのハイブリッド構成でネイティブ262Kコンテキストを実現し、マルチステップMTPも維持
QwenはQwen3.8-27Bの重みを公開した。64層のGated DeltaNet／Gated Attentionハイブリッド構成によって長大なコンテキストのコストを抑えつつ、ネイティブな視覚理解と調整可能な推論深度を提供する。公式のエージェント評価では大幅な向上が示されているが、一部のデータセット、修正版の問題、実行フレームワークはQwen自身が設定しているため、ベンダー横断の公平なランキングと直接見なすことはできない。
Qwen3.8-27BはApache 2.0ライセンスで提供される270億パラメータのDenseモデルで、テキスト、画像、動画を扱える。言語バックボーンは64層で、各セットを「3層のGated DeltaNet線形アテンションと1層のGated Attention」とする16セットで構成される。前者は48個のvalue headと16個のQK headを使用し、後者は24個のquery headと4個のKV headを採用する。このハイブリッド設計の要点は、すべてのtokenが各層で完全な二乗オーダーのアテンションコストを負担するのを避けながら、フルアテンションを定期的に挟むことでグローバルな情報を再交換することにある。
モデルのネイティブなコンテキスト長は262,144 tokenで、公式には100万tokenまで拡張可能とされている。学習にはマルチステップのMulti-Token Predictionも含まれており、互換性のあるruntimeではMTPを使ったspeculative decodingが可能だ。推論モードはデフォルトで有効になっており、APIではreasoning_effortにxhigh、medium、lowのいずれかを指定できる。また、preserve_thinkingを使えば、前のターンの推論状態を後続メッセージへ引き継げる。これはエージェント統合の方法に影響する。過去の推論がチャットゲートウェイによって削除されると、結果が公式設定と一致しない可能性がある。また、推論強度を下げてもタスク全体のコストが必ずしも減るとは限らない。失敗による再試行で、ターンごとのtoken節約分が相殺される可能性があるためだ。
公式報告では、Terminal-Bench 2.1で73.0、SWE-bench Proで61.7、OSWorld-Verifiedで84.3を記録し、いずれも掲載されているQwen3.6-27Bのスコアを上回った。ただし、SWE-bench ProではClaude Code harnessが使われ、一部の問題には修正が加えられている。また、QwenSWEBench、CoWorkBench、RecreationBenchは社内評価であり、一部の視覚問題では異なるプロンプトやコンピューター操作設定も採用されている。エンジニアリングチームは既存モデルを置き換えるか判断する前に、自社のツールセット、コンテキスト負荷、エラー回復フローを使ってテストを再実行すべきだ。Transformers、vLLM、SGLangではすでに読み込み手段が提供されており、コミュニティもGGUF、MLX、FP8版を迅速に公開している。次の注目点は、各runtimeが単に重みを正常に読み込めるだけでなく、ハイブリッド状態キャッシュ、MTP、動画サンプリング、長期対話における推論状態の保持を同時に正しくサポートできるかどうかだ。