返回首頁

最新模型

Inception 發布 Mercury 3,擴散語言模型支援百萬 token 上下文

Inception 於 10 月 19 日推出 Mercury 3,將上下文擴至百萬 token,並宣稱輸出速度達每秒 1,068 token。已有應用開發商接入,但官方速度與品質比較仍待獨立評測。

NASA/John Glenn · Public domain · Image source
zh-Hant

Inception 於 10 月 19 日發布擴散語言模型 Mercury 3,將上下文容量從 Mercury 2.5 的 26 萬提高至 100 萬 token。官方宣稱,新模型在 NVIDIA GPU 上可達每秒 1,068 個輸出 token,部分基準的品質超過 GPT-6 Luna 與 Claude Haiku 5.5;這些比較目前應視為供應商測試結果。官方發布

技術重點是擴散生成能否在模型擴大後維持速度。Inception 表示,Mercury 3 的總參數規模超過 Mercury 1 的 40 倍。其既有技術說明指出,擴散生成會以多輪修正、平行處理多個 token,減少逐一生成的序列依賴;但這項原理不能直接證明百萬 token 輸入也有相同延遲表現。Mercury 技術說明

接入方式沿用 OpenAI 相容介面,官方範例透過 chat completions 端點指定 mercury-3。標準價格為每百萬輸入 token 0.20 美元、輸出 0.70 美元,上市優惠各減半。官方模型頁另列明,Mercury 2 與 2.5 已停止向新用戶提供,符合條件的既有客戶可存取至 11 月 15 日,企業合約另依約定處理,既有部署須安排遷移。模型與遷移資訊

應用端已有有限驗證。Curiosity 同日宣布接入,並回報開發工作區首次串流文字約需 0.4 至 1 秒,包含一至兩次工具呼叫的聊天回合約需 1 至 2 秒。該團隊強調,這只是單日、單一容器的量測,不能當成通用基準。Curiosity 接入紀錄

對工程團隊而言,值得測試的是多步代理能否因此縮短總等待時間。驗證時應分開量測首字延遲、輸出速度與工具往返,並以實際中文提示、長文件和工具參數測試品質;每秒千 token 的數字,仍不足以推定完整應用的延遲與成功率。

來源

  1. Diffusion at Scale: Introducing Mercury 3
  2. Introducing Mercury, the World’s First Commercial-Scale Diffusion Large Language Model
  3. Our Models
  4. What a diffusion LLM is, and what Mercury 3 is like to run in a workspace