返回首頁

最新模型

Reflection 公開 Beam 1.0 權重,501B MoE 提供三種精度與推測解碼模型

Reflection 於 10 月 16 日公開 Beam 1.0 權重,以 Apache 2.0 授權提供 BF16、FP8 與 NVFP4 版本。這款面向程式開發與長回合代理任務的模型,也釋出 DFlash2 草稿模型,但中文能力與實際部署成本仍須驗證。

Panjasan · CC BY-SA 3.0 · Image source
zh-Hant

Reflection 於 10 月 16 日正式公開 Beam 1.0 權重,將 10 月初的模型預告推進至可下載、自行部署的階段。此次提供 BF16、FP8、NVFP4 三種精度,以及推測解碼草稿模型;權重採 Apache 2.0 授權,讓團隊能自行部署及客製化模型。官方發布公告

Beam 採稀疏混合專家架構,總參數約 5,010 億,每個 token 啟用約 230 億,支援百萬 token 上下文,輸入與輸出均為文字。模型卡將程式開發、工具使用及長回合代理列為主要用途,同時明確指出模型主要針對英文開發。對中文工程團隊而言,程式碼能力與中文需求理解、文件檢索能力應分開測試。官方模型卡

此次值得關注的部署元件是約 19.3 億參數的 DFlash2 草稿模型。它一次前向運算提出一整塊候選 token,再由 Beam 驗證;官方說明,在使用拒絕採樣時,輸出分布可與原模型一致。草稿模型讀取 Beam 多層隱藏狀態,重用凍結的詞嵌入與輸出頭,並以 4,096 token 滑動視窗控制草稿端的上下文成本;訓練區塊長度為 16,服務時建議使用 8。DFlash2 模型卡

評估方面,官方模型卡列出 SWE-bench Verified 81.6、Terminal-Bench 2.1 80.1。這些是發布方提供的結果,不能直接視為任何代理框架都能重現的成功率。Reflection 的效率比較也有邊界:早期技術說明以啟用參數量與生成 token 數估算運算量,排除了提示預填、隨上下文變動的注意力成本與服務開銷。模型評估、效率計算說明

工程上的下一步,是固定代理框架、工具集合與任務預算,比較三種精度的成功率,再量測推測解碼的接受率及端到端延遲。每 token 啟用 230 億參數描述的是計算路徑;完整權重、KV 快取與並行服務仍須另外編列記憶體預算,百萬 token 上限也不代表長上下文能以低成本使用。

來源

  1. Beam is now available
  2. Beam-1.0-501B-A23B 官方模型卡
  3. Beam-1.0-501B-A23B-DFlash2 官方模型卡
  4. Introducing Beam: Reflection’s 501B open-weight model