返回首頁

最新模型

IFM 發布 Jais 3 阿拉伯語模型家族,開放分階段權重與訓練配方

IFM 於 10 月 15 日發布六款 Jais 3 模型,涵蓋 0.9B 至 375B 參數,聚焦阿拉伯語推理與工具操作。官方同步公開訓練階段檢查點與評測資產,但效能數據仍待獨立重現。

Loewelad · CC BY 3.0 · Image source
zh-Hant

MBZUAI 旗下 Institute of Foundation Models(IFM)於 10 月 15 日發布 Jais 3,將阿拉伯語模型的目標延伸至文件編輯、搜尋與多步驟工具操作。這個家族以 K2 Horizon 為基礎,包含四款密集模型,以及 36B-A4B、375B-A23B 兩款稀疏模型;模型與程式碼採 Apache 2.0 授權。官方公告

技術上值得關注的是語言適應流程。團隊從已完成後訓練的基礎模型出發,依序進行持續預訓練、降溫訓練、監督微調、偏好最佳化與強化學習。持續預訓練混合阿拉伯語與原模型資料,以兼顧新語言能力及既有知識;代理能力主要來自監督微調中的工具軌跡,最後的強化學習並未採用代理任務。這讓研究者可以分開檢查語言適應與工具能力的來源。訓練流程

部署方面,除最小款提供 128K 上下文,其餘模型標示支援 512K。7B 模型卡列出 vLLM 與 SGLang 啟動方式,推理與工具呼叫均使用 k2_horizon 解析器;工具參數可選 JSON、XML 或具型別的 XML 格式。工程師需要同步設定聊天模板與解析器,才能將模型輸出接入實際工具執行迴圈。7B 模型卡

可重現性是這次發布的重要部分。模型卡列出持續預訓練、降溫、監督微調及偏好最佳化的權重分支,並連結訓練紀錄;官方集合也提供量化、GGUF 與 Apple silicon 的 MLX 版本。不過,7B 模型卡仍將技術報告與程式碼儲存庫標為「即將提供」,完整研究材料的交付程度仍須逐項確認。發布資產、模型集合

評測則要留意口徑:官方清理了部分阿拉伯語測試題,並改以生成答案評分,不能直接與舊排行榜分數並列。模型卡也說明,所報結果採高推理強度。對中文技術團隊而言,這套分階段資產可作為其他語言適應研究的參考;中文能力、長上下文記憶體需求,以及實際代理延遲,仍需自行測試。評測說明、使用限制

來源

  1. inception42/Jais-3-7B 模型卡
  2. Jais 3 官方模型集合