AI 研究
K2-Horizon 技術報告公開,詳述 MoVA 注意力與 Uno 解碼加速
IFM 團隊於 11 月 16 日提交 K2-Horizon 技術報告,說明注意力稀疏化、合成資料與解碼加速設計。模型系列已於 9 月發布,這次焦點是可供研究者檢驗的完整技術方法與測試條件。
MBZUAI 旗下基礎模型研究院(IFM)團隊於 11 月 16 日向 arXiv 提交 K2-Horizon 技術報告,涵蓋六款語言模型的架構、訓練與推論方法。這是既有模型系列的研究文件進展:校方早在 9 月 3 日便宣布發布從 0.9B 到 375B-A23B 的模型,並提供權重、程式與訓練資料。論文提交紀錄、原始發布公告
報告的架構重點是 Mixture-of-Value Attention(MoVA):將專家路由引入注意力的 value 投影,依 token 選取部分投影運算。它保留注意力計算本身,因此可與 FlashAttention、GQA 等方法搭配。作者指出,36B-A4B 模型的預訓練損失接近採相同資料與設定訓練的 32B 稠密模型,但後者仍略有優勢。架構說明
推論端則提出 Uno 擴散轉接器,透過區塊草擬與驗證加速生成,無須另一個獨立草稿模型。作者在指定的 1K/8K 吞吐測試中,測得 7B 版本於批次大小為一時約快 2.2 倍,批次大小為 64 時約快 1.5 倍。這些結果來自團隊測試,不能直接推算為任意硬體或代理任務的端到端加速。Uno 測試結果
對部署者而言,模型卡另提供具體整合條件:36B-A4B 支援 524,288-token 上下文,SGLang 配方在兩張 H200 上驗證,並要求設定專用推理與工具呼叫解析器。模型卡也提醒,Hugging Face 實作的訓練行為可能與原生 xLLM 不同,包含輔助負載平衡損失;接續原始預訓練應使用原生檢查點與執行環境。官方模型卡
工程上的下一步,是在實際提示長度、併發量與工具鏈下重測吞吐及任務成功率。研究者則可利用中間檢查點追蹤能力變化,檢驗架構收益是否能在自己的評估設定中重現。檢查點與使用建議