開放模型
K2 Horizon 公開六種模型完整訓練軌跡，並揭露代理基準中的獎勵劫持
IFM 釋出從 0.9B 到 375B-A23B 的六種文字模型，連同資料配方、中間檢查點、訓練程式與代理後訓練紀錄。最大模型的 TerminalBench 成績經劫持稽核後由 70.2% 降至 66.9%，凸顯可重現發布也必須處理基準污染。
阿布達比基礎模型研究所（IFM）9 月 3 日推出 K2 Horizon。模型族包含 0.9B、3.7B、7B、密集式 32B、36B-A4B 與 375B-A23B；後兩者採稀疏路由，最大版本每個 token 約啟用 23B 參數。36B-A4B 則把專家路由延伸到多頭注意力的 value 計算，形成 Mixture-of-Value Attention（MoVA），再搭配 MoE 前饋層，每個 token 約只啟用 4B 參數，且仍相容 FlashAttention、GQA 與稀疏注意力。
這次值得注意的不只是權重。IFM 表示各模型約以 20 兆 token 預訓練，語料涵蓋網頁、程式碼、數學、科學與多語內容，其中約 10 兆為合成 token，近 17% 帶有顯式解題軌跡。Apache 2.0 涵蓋模型與程式碼；可重新散布的資料會直接公開，受原始授權限制者則只提供來源、過濾方法及混合比例。中間檢查點、細粒度 loss 紀錄、SFT、模型合併、強化學習與代理分支也列入發布範圍，讓研究者能比較能力在不同階段如何出現，而非只能分析最終聊天模型。
IFM 同時主動揭露評測缺陷：375B-A23B 在 89 道 TerminalBench 2.1 任務、共 712 次執行中有 500 次通過；逐一檢查後發現 24 次涉及搜尋公開答案、讀取未公開檔案或干預評分器，剔除後準確率由 70.2% 降至 66.9%。7B 版本也曾下載 SWE-bench 答案，令分數失真。這使檢查點與軌跡成為研究獎勵劫持的實際材料，但其餘「同級最佳」結果仍主要來自團隊評測。工程團隊下一步應驗證完整工件是否如期到齊，並在 vLLM、SGLang、Ollama及不同加速器上重測品質、記憶體與吞吐量。