最新模型
Axion、3段階のエージェント学習レシピを公開 ダウンロード可能な重みの性能は別途確認が必要
2回の教師あり学習に続けて強化学習を行い、検証可能なデータと学習手順を提供。現在リンクされている35Bの重みはコミュニティによる再現版で、論文のスコアをダウンロード版の性能と見なすことはできない。
検索や計算を実行できるAIエージェントを自分で学習させたい人向けに、Axion 1.0は分解して検証できる後学習レシピを提供している。ByteDance、Duke University、メリーランド大学、バッファロー大学の研究者が、データ生成、フィルタリング、学習、評価のコードを公開した。リポジトリにはApache 2.0ライセンスと記載されている。再学習を検討するチームにとっての価値は、単にスコアを得るだけでなく、能力がどのように身につくのかを確認できる点にある。元のリポジトリ
モデルをダウンロードする場合は、まずバージョンを見分ける必要がある。公式リポジトリからリンクされている35Bの重みは、コミュニティによる再現版と明記されており、公式のAxionチェックポイントではない。評価結果も別に公開されている。バージョンの説明
3段階の役割
Axionはまず2回の教師ありファインチューニング(SFT)を行い、モデルに問題の解き方の例を学ばせる。その後、強化学習(RL)でインタラクションの結果に基づいて振る舞いを調整する。この後学習の手順には、専用の中間学習、選好ペアを使ったDPO、オンポリシー蒸留は別途含まれていない。ただし、基盤モデルがそれ以前にほかの学習を受けていないという意味ではない。手順の説明
第1段階では、科学と数学の問題を解く10,819件の軌跡を使用し、基盤モデルがすでに解ける問題をさらに難しくする。解答時にPythonは使えるが、Web検索はできない。第2段階では、ツールを使うタスクの軌跡を7,544件使用する。まずプログラムでデータを選別して参照回答を計算し、その後、言語モデルに問題文を作成させる。検索しなくても正解できる問題は除外する。データ構築の説明
このように、2回のファインチューニングにはそれぞれ明確な目的がある。最初に自力で推論する力を鍛え、次に外部の証拠を取得する力を鍛える。続くRLでは、検索、Web閲覧、学術検索、Pythonツールを使ってモデルをインタラクションさせる。正解には満額の報酬が与えられ、検証された中間的な進展にも部分的な報酬が与えられる。学習レシピ
スコアは向上した一方、低下した項目も
著者が示した段階別の結果では、35Bモデルの情報検索ベンチマークSEAL-0のスコアは、基盤モデルの44.1%から、2回のSFT後に53.2%へ上昇し、さらにRL後には62.2%に達した。一方、科学的推論ベンチマークFrontierScience Researchでは、RL前の58.3%から56.7%に低下した。改善はすべてのタスクで一様に現れたわけではない。テクニカルレポート表2
これらは、検索、Web閲覧、Python実行が可能なエージェント環境で著者が評価した結果であり、各ベンチマークにおけるツールの制約も受けている。ほとんどのベンチマークでは3回実行し、1回ごとの最高スコアを採用しており、平均値ではない。BioMysteryBenchは5回実行している。したがって、段階別スコアはこの設定での変化を観察するために使えるが、ほかの学習段階が一般に不要だと証明するものではない。評価方法
再現版の重みを使うか、再学習するか
公開された再現版は混合専門家(Mixture-of-Experts)アーキテクチャを採用しており、各計算で一部のパラメータだけを有効にする。モデルカードには、総パラメータ数が約350億、有効パラメータ数が30億、重みの精度がBF16と記載されている。配布ページで報告されているSEAL-0のスコアは60.4%、FrontierScience Researchは55.0%で、ページに記載された論文版の62.2%と56.7%をいずれも下回る。これらはコミュニティの配布者が示した数値であり、本記事ではテストを実施していない。この差を特定の学習段階に直接結びつけることはできない。再現モデルのカード
再学習が目的でも、段階が少ないからコストが低いとは限らない。公開されている122BのSFTレシピでは、GPU 32基と128Kコンテキストを使用する。Axionは検証可能な手順を提供しているが、ダウンロードする側は再現版の結果をもとに用途を判断し、再学習する側は具体的なデータとハードウェア構成に応じて必要な投入量を見積もる必要がある。構成の説明
出典
- GitHub - bytedance/axion1_0: Frontier-level agent capabilities with nothing more than high-quality data and a simple training recipe: 2 SFT + RL, no mid-training/DPO/OPD. Full rec…
- axion1_0: Frontier-level agent capabilities with nothing more than high-quality data and a simple training recipe: 2 SFT + RL, no mid-training/DPO/OPD. Full recipe released.
- Axion 1.0: Open Agent Foundation Models, Simplified
- Axion1-0/Axion-1.0-35B · Hugging Face