Hy4 Preview 開放 770B MoE 權重，以稀疏注意力與內建 MTP 瞄準長上下文代理

騰訊在 8 月 28 日開放 Hy4 Preview，這是一個 78 層、770B 總參數的混合專家模型；除第一層使用密集 FFN，其餘 77 層各有 256 個路由專家與一個共享專家。每個 token 選取八個路由專家並啟用共享專家，骨幹實際啟用約 49B 參數。模型另含一層原生 MTP，約有 10B 總參數、0.7B 啟用參數，可供推測式解碼一次預測後續 token。

注意力模組採用 Gated DeepSeek Sparse Attention，並以 IndexCache 跨層重用稀疏索引；模型卡列出的索引 top-k 為 2,048，原生上下文長度為 100 萬 token。殘差路徑則採四條 identity Hyper-Connections。官方已提供 BF16 與 FP8 權重、微調流程，以及 vLLM、SGLang 的預建映像；建議的 FP8 服務配置使用八路 tensor parallel、稀疏注意力後端及三至四個推測 token，並暴露 OpenAI 相容 API。這使研究團隊能檢查完整架構，但 770B 權重仍屬資料中心級部署，不能因每次只啟用 49B 就等同於一般 49B 模型的記憶體需求。

騰訊稱 Hy4 曾參與搜尋訓練方法、資料策略、評測與底層算子，並透過算子融合及通訊最佳化令推論吞吐較內部基線提高 31.8%。這比較接近由模型協助執行實驗的研發閉環，並不代表模型能無人監督地修改自身權重。另一項由 163 名內部專家進行的 203 項工程任務盲測中，Hy4 平均取得 2.99／4，僅小幅高於 GLM-5.3 的 2.92 與 Kimi K3 的 2.94；題目、評分資料及可重跑 harness 尚未公開。工程團隊接下來應關注第三方長上下文與代理評測、FP8 品質損失、實際 KV cache 成本，以及官方已承認的過度推理和反覆驗證問題。