返回首頁

最新模型

騰訊公開 Hy4 正式版權重,vLLM 部署須使用新版映像或 nightly

騰訊於 11 月 20 日公開 Hy4 指令版、FP8 與預訓練基底權重,讓旗艦多模態模型進入自行部署階段。官方部署文件提供投機解碼配置,但百萬 token 上下文、硬體容量與自訂授權仍須分別核對。

zh-Hant

騰訊於 11 月 20 日公開 Hy4 正式版權重,提供指令模型、FP8 量化版及預訓練基底模型。這次更新讓先前公布的模型能力有了可下載、可自行驗證的實作;基底版則未經指令微調,不能直接套用聊天模型的使用預期。官方模型卡

Hy4 的語言骨幹採混合專家架構,總參數為 7,700 億,每個 token 啟用約 490 億。78 層中有 77 層使用專家前饋網路,每層從 256 個路由專家選取八個,另有一個共享專家。注意力結合 Gated DSA 與跨層稀疏索引重用,並透過視覺編碼器處理圖片及影片畫面。這些設計讓部署評估必須同時考慮權重儲存、專家運算與長上下文快取,不能以啟用參數直接估算顯存。官方儲存庫

推論配置是此次釋出的實務重點。vLLM 文件指出,0.34.0 尚未註冊 Hy4 架構,須使用專用映像或自 11 月 20 日起建置的 nightly。範例採八張 GPU 張量平行,搭配 hy_v4 工具與推理解析器;內建 DFly2 草稿模型重用主模型的 KV 快取及稀疏索引,避免另建草稿快取。然而,該配方從 131,072 token 視窗起步,明示尚未驗證完整百萬 token 請求;模型規格上限不能直接視為服務容量保證。vLLM 部署配方

授權也需要單獨檢查。儲存庫採 Tencent Hy License 1.0,文件明示它由 Apache 2.0 修改而來,並加入大型模型服務業務的商業條款。工程團隊接下來應固定映像版本,測量自身工作負載的首 token 延遲、投機解碼接受率及長上下文記憶體峰值,再判斷部署成本;官方能力與效能描述仍待獨立重現。授權原文

來源

  1. Hy4 官方模型卡
  2. Tencent-Hunyuan/Hy4 官方儲存庫
  3. Hy4 — vLLM serving recipe
  4. Tencent Hy License, Version 1.0