開放權重模型
Thinking Machines 釋出 Inkling:975B MoE 開放權重模型支援百萬 token 與原生多模態
Inkling 以 9750 億總參數、410 億啟用參數的 MoE 架構進入開放權重市場。模型同時提供可調推理強度、百萬 token 上下文,以及在 Tinker 上微調的路徑。
Thinking Machines Lab 發布首款自行預訓練的開放權重模型 Inkling。模型是 9750 億總參數、每次推理啟用約 410 億參數的 Mixture-of-Experts Transformer,預訓練資料量為 45 兆個文字、影像、音訊與影片 token,最大上下文為 100 萬 token。它接受文字、影像及音訊輸入並輸出文字,權重採 Apache 2.0 授權;較小的 Inkling-Small 則有 2760 億總參數、120 億啟用參數,目前仍是預覽,尚未完整釋出權重。
模型較值得注意的地方不是單一排行榜名次,而是把可控推理成本與後訓練放在同一介面。使用者可調整 effort,並透過 Tinker 執行微調;團隊還展示模型在代理框架中撰寫自己的微調工作、建立資料與評測,再載入新權重。訓練方面,官方稱以非同步強化學習完成超過 3000 萬次 rollout,並在 NVIDIA GB300 NVL72 系統上訓練。
官方坦言 Inkling 並非整體最強模型,且發布頁的部分結果是在不同於公開權重的檢查點上,測試日期介於 6 月 30 日至 7 月 13 日。這使基準數字不能直接當作可下載版本的保證。工程師接下來應實測其顯存需求、專家路由效率、長上下文實際記憶能力,以及 Transformers、vLLM、SGLang 與量化後端在多節點部署時的成熟度。