Faraday、27Bの外部エージェントでGPT-5.5をオーケストレーション——論文図表の再現ベンチマークで単体のフロンティアモデルを上回る

Inherentは先ごろ、Faradayを正式に発表した。Faradayは大規模コーディングモデルを置き換えるものではなく、その上位に、研究タスク向けにポストトレーニングされた「科学者」エージェントを追加する。チームはQwen3.6-27Bをベースモデルとし、LoRA、128Kコンテキスト、改良版GRPOを用いて訓練した。Faradayが仮説の提案、実験の計画、次のステップの判断を担い、実際のコード作成と実行にはCodex GPT-5.5を呼び出す。

併せて公開されたReplicaには、機械学習およびAI for Science分野の論文100本を基に作成された、310件の図表再現タスクが含まれる。エージェントに与えられるのは対象図表を削除した論文のみで、containerdコンテナ内において、制限時間1時間、H200 MIGの7分の1という条件で結果を再構築しなければならない。まずClaude Opus 4.7が各タスクのrubricを生成し、その後、複数のCodex judgeサンプルが出力図、コード、実行トレースを検査する。長いトレースによるGRPO訓練の崩壊を防ぐため、ターン単位のcredit assignmentも採用された。

同一の時間・GPU予算で各タスク8回のrolloutを行った比較では、Faradayは同一分布タスクの73%、未見のAI for Scienceタスクの60%で、Claude Opus 4.8とGPT-5.5の両方を上回った。テストセットの平均スコアは、それぞれ6%と8%高かった。この結果が重要なのは、研究上の判断を、より強力なツールをオーケストレーションする制御ポリシーとして訓練できる可能性を示した点にある。制御側のモデルサイズは、必ずしもツールモデルと同等である必要はない。

一方、制約も明白だ。評価器、rubric生成器、プログラミングツールはいずれもクローズドソースのフロンティアモデルに依存している。人間の研究者による検証も、自動評価器がFaraday優位と判定したトレースの一部に限られる。また、Replicaは既存図表の再現に重点を置いており、再現不可能な結果をエージェントが確実に発見できることや、オープンエンドな科学研究を遂行できることは、まだ実証されていない。エンジニアリングチームが次に注視すべき点は、タスクと重みが公開されるか、そして別のコーディングエージェントに切り替えても性能向上を維持できるかどうかだ。