返回首頁

最新模型

Axion 開放三階段代理訓練配方,下載權重須另看成績

兩次示範學習再接強化學習,提供可檢視的資料與訓練流程;目前連結的 35B 權重是社群重現版,論文分數不能直接視為下載版表現。

zh-Hant

想自行訓練能搜尋資料、執行計算的 AI 代理,Axion 1.0 提供了一套可拆解的後訓練配方。ByteDance、Duke、馬里蘭大學及布法羅大學研究者公開資料生成、篩選、訓練與評測程式,程式庫標示 Apache 2.0 授權。對準備重訓的團隊,價值在於能檢查能力如何形成,而不只取得一張成績表。原始程式庫

下載模型則要先辨認版本:官方程式庫連結的 35B 權重,被明確標示為社群重現版,並非官方 Axion 檢查點,也另有一組評測結果。版本說明

三階段如何分工

Axion 先做兩次監督式微調(SFT),讓模型從示範解題過程學習,再以強化學習(RL)依互動結果調整行為。這套後訓練流程未另外加入專門中期訓練、偏好配對訓練 DPO,或 on-policy 蒸餾;但這不表示基礎模型原先沒有經過其他訓練。流程說明

第一階段使用 10,819 條科學與數學解題軌跡,將基礎模型已能解出的題目繼續加難;解題時可用 Python,不能搜尋網頁。第二階段使用 7,544 條工具任務軌跡:先由程式篩選資料、計算參考答案,再讓語言模型寫成問題,並排除不靠檢索也能答對的題目。資料建構說明

這讓兩次微調各有明確目的:先練自行推理,再練取得外部證據。接續的 RL 則讓模型在搜尋、瀏覽網頁、學術檢索與 Python 工具之間互動;答對可得完整獎勵,經驗證的中間進展也能獲得部分獎勵。訓練配方

分數有進步,也有回落

作者的逐階段結果顯示,35B 模型在資訊搜尋基準 SEAL-0,從基礎模型的 44.1% 升至兩次 SFT 後的 53.2%,再經 RL 達到 62.2%。但科學推理基準 FrontierScience Research,卻由 RL 前的 58.3% 降至 56.7%,收益並未平均出現在每項任務。技術報告表二

這些是作者在可搜尋、瀏覽及執行 Python 的代理環境中評測的結果,仍受各基準的工具限制約束。多數基準跑三次、取單次最佳分數,並非平均值;BioMysteryBench 則跑五次。因此,逐階段分數可用來觀察這套配置的變化,不能據此證明其他訓練階段普遍無用。評測方法

重現權重與重訓,是兩種決定

公開重現版採混合專家架構,也就是每次運算只啟用部分參數;模型卡標示約 350 億總參數、30 億啟用參數,權重精度為 BF16。發布頁報告的 SEAL-0 為 60.4%,FrontierScience Research 為 55.0%,均低於頁面列出的論文版 62.2% 與 56.7%。這些是社群發布者提供的數據,本文未執行測試,不能將差距直接歸因於某個訓練環節。重現模型卡

若目的是重新訓練,也不能由階段少推論成本低:公開的 122B SFT 配方使用 32 張 GPU 與 128K 上下文。Axion 提供了可檢查的流程,但下載者應依重現版結果評估用途,重訓者則須按具體資料與硬體配置估算投入。配置說明

來源

  1. GitHub - bytedance/axion1_0: Frontier-level agent capabilities with nothing more than high-quality data and a simple training recipe: 2 SFT + RL, no mid-training/DPO/OPD. Full rec…
  2. axion1_0: Frontier-level agent capabilities with nothing more than high-quality data and a simple training recipe: 2 SFT + RL, no mid-training/DPO/OPD. Full recipe released.
  3. Axion 1.0: Open Agent Foundation Models, Simplified
  4. Axion1-0/Axion-1.0-35B · Hugging Face