返回首頁

最新模型

Inkling 2 Small 開放 Apache 2.0 權重,原生 NVFP4 部署至少需 500GB 顯存

Thinking Machines 於 11 月 12 日開放 Inkling 2 Small 權重,將先前限於服務使用的多模態模型擴展至自行部署與微調。模型採 594B 總參數、17B 啟用參數的 MoE 架構,工程團隊仍須留意顯存、上下文長度與推論框架限制。

RJBurkhart3 (talk) (Uploads) · CC BY-SA 3.0 · Image source
zh-Hant

Thinking Machines 於 11 月 12 日更新官方公告,宣布 Inkling 2 Small 權重已可下載;Hugging Face 模型庫標示採 Apache 2.0 授權。模型原於 11 月 5 日透過 Tinker 推出,這次實質變更是開放權重,讓團隊能自行部署、微調及整合產品。官方公告

Inkling 2 Small 接受文字與圖片、輸出文字,總參數為 5,940 億,每個 token 啟用約 170 億參數。模型卡描述其為 48 層解碼器架構,每個 token 從 384 個專家選取 8 個,並混合局部與全域注意力。對部署者而言,稀疏啟用降低運算需求,但完整權重仍須配置儲存與顯存,不能以啟用參數估算硬體規模。模型卡

官方提供 NVFP4 與 MXFP8 兩種檢查點,分別要求至少 500GB 與 800GB 的合計 GPU 顯存。模型從預訓練到後訓練均採 NVFP4,官方也推薦此原生精度版本;模型卡列出的硬體門檻,仍須與實際上下文及並行請求需求一起評估。模型卡

vLLM 的部署指南進一步揭示長上下文成本:其已驗證配置中,單個四 GPU 托盤支援至 262,144 tokens,完整百萬 token 上下文則使用兩個托盤、TP8。指南要求在正式版本納入支援前使用專用映像,並提供內附 DSpark 推測解碼器的設定。這意味著權重開放後,框架版本與服務參數仍直接影響可用功能。vLLM 部署指南

微調與代理整合也有邊界:vLLM 指南指出,專家層 LoRA 需要 BF16 專家權重,現有低精度檢查點應使用注意力層轉接器;工具呼叫解析器雖有單元測試,尚未完成端到端工具呼叫基準。工程團隊下一步應以自己的繁體中文任務、工具鏈與流量,驗證成功率、延遲及記憶體占用,再決定部署配置。vLLM 部署指南

來源

  1. Introducing Inkling 2 Small(11 月 12 日權重開放更新)
  2. Inkling-2-Small 模型卡與權重
  3. Inkling-2-Small vLLM 部署指南