Periodic Neon、実験室データで1兆パラメータのXRDエージェントを訓練し、長時間軌跡RLのシステムボトルネックを公開

Periodic LabsはPeriodic Neonを発表した。1兆パラメータのオープンウェイトモデルを出発点に、論文、コード、自社の実験データを用いたマルチモーダルmid-trainingを行い、さらに実験室データによる長コンテキスト強化学習を実施した。最初の導入タスクは粉末X線回折（XRD）解析だ。エージェントは回折ピーク、合成条件、過去の実験、結晶データベース、シミュレーションツールを組み合わせ、試料に含まれる結晶相とその割合を判定し、その結果を材料探索ループへ戻す必要がある。

人間の専門家でも処理に数時間を要するFrontierXRDの134試料に対し、公式発表によればNeonの成功率は55.3%だった。ベースとなったKimi K2.6の2.7%から約20倍向上し、同社のコスト設定ではGPT-6 AstraとClaude Fable 5.1も上回ったという。さらに、mid-trainingとRLの対象から除外した198の化学系を汎化テストに使用した。訓練時には最大1,300基のH200を使用したが、これはゼロから事前学習した総コストではなく、既存の1兆パラメータのウェイトを基盤とする追加訓練の規模である。

今回の公開内容で最も汎用性が高いのは、むしろシステム設計だ。XRDのrolloutは1時間以上続く場合がある一方、訓練ステップは数分で完了する。このためチームは、生成と更新を別々のGPU割り当て上で非同期に実行し、単一の軌跡が複数のウェイトバージョンにまたがることを許容した。WideEPでKV cache容量を増やすと、data-parallel rank間の同期停止が増幅される。チームはDelta router replayを導入し、新たに生成されたtokenのルーティングデータだけを返すようにしたうえで、関連する変更をSGLangに提供した。prefill／decode分離と組み合わせることで、公式発表では、同一バッチにおける1兆パラメータモデルの性能がリクエスト当たり10 tok/sから25 tok/sへ向上したという。また、長シーケンスのpackingとコストを考慮したschedulingにより、訓練throughputはMegatron baselineの4.1倍に達した。

ただし、評価結果は慎重に解釈する必要がある。すべてのモデルは、社内データベースと実験コンテキストを含むPeriodic独自のharnessを使用している。同じモデルでも、このharnessを使うと一般的なtoolsetより成功率が3.8倍高くなる可能性がある。また、成功ラベルはOpus 5とGPT-5.6 Solで構成されるjudgeが判定している。専門家のコンセンサスとの一致率は84%だが、それでも客観的なground truthではない。Neonのウェイト、FrontierXRDの生データ、完全な訓練レシピも、現時点では公開されていない。次に注目すべきは、既存結果の解析からさらに踏み込み、新たな実験を確実に選択できるか、そして材料発見における改善を外部の研究室が再現できるかどうかだ。