返回首頁

最新模型

Qwen3.8-27B 以線性/全注意力混合架構提供原生 262K 上下文,並保留多步 MTP

Qwen 開放 Qwen3.8-27B 權重,以 64 層 Gated DeltaNet/Gated Attention 混合架構壓低長上下文成本,並提供原生視覺理解與可調推理深度。官方代理評測升幅顯著,但部分資料集、修正版題目及執行框架由 Qwen 自行設定,不能直接視為跨供應商的公平排名。

猫猫的日记本 · CC BY-SA 4.0 · Image source
zh-Hant

Qwen3.8-27B 是一款採 Apache 2.0 授權的 270 億參數稠密模型,同時處理文字、影像與影片。語言主幹共有 64 層,排列為 16 組「三層 Gated DeltaNet 線性注意力加一層 Gated Attention」;前者使用 48 個 value head 與 16 個 QK head,後者則採 24 個 query head、4 個 KV head。這種混合設計的重點,是避免所有 token 都在每層支付完整二次方注意力成本,同時定期以全注意力重新交換全域資訊。

模型原生上下文長度為 262,144 token,官方稱可延伸至 100 萬 token;訓練亦包含多步 Multi-Token Prediction,讓相容 runtime 可用 MTP 做推測解碼。推理模式預設開啟,API 可用 reasoning_effort 選擇 xhigh、medium 或 low,並以 preserve_thinking 把前輪推理狀態帶入後續訊息。這會改變代理整合方式:歷史推理若被聊天閘道刪除,結果可能與官方設定不一致;較低推理強度也未必降低整項任務成本,因為失敗重試可能抵銷每輪節省的 token。

官方報告 Terminal-Bench 2.1 得 73.0、SWE-bench Pro 得 61.7,OSWorld-Verified 則為 84.3,皆高於表列的 Qwen3.6-27B。不過 SWE-bench Pro 使用 Claude Code harness,部分題目經修正;QwenSWEBench、CoWorkBench 與 RecreationBench 又是內部評測,部分視覺題目還採用不同提示或電腦互動設定。工程團隊應先在自身工具集合、上下文壓力與錯誤恢復流程重跑測試,再決定是否取代既有模型。Transformers、vLLM 與 SGLang 已提供載入路徑,社群也迅速產出 GGUF、MLX 與 FP8 版本;下一個觀察點是各 runtime 能否同時正確支援混合狀態快取、MTP、影片取樣與長對話推理保存,而不只是成功載入權重。

來源

  1. Qwen/Qwen3.8-27B model card and benchmark results
  2. Qwen3.8-Max: A New Bar for Coding and Cowork
  3. Qwen 3.8 27B Hugging Face - Link is here and it is released on 14th Aug
  4. Qwen3.8-27B on ModelScope
  5. Qwen3.8-27B release-day community megathread