SciDataSailor、エージェントによる科学データベースの直接探索を実現、9BモデルのPass@1が14.01から28.99に向上

科学的な質問応答ベンチマークの多くは、整理済みのテキストや表をモデルに直接与えるため、エージェントが未知のデータベース内でファイルを見つけ、schemaを推定し、識別子を対応付け、実際に計算できるかどうかを測定していない。SciDataSailorは、これらの手順を「深層科学データ探索」タスクとして構成する。エージェントは管理されたsandbox内でのみPythonを呼び出すことができ、Web検索や外部検索は使用できない。すべての結論は、ファイルの読み込みとプログラムの実行結果に基づく必要がある。

チームは、モンテカルロ木探索を用いて訓練軌跡を合成した。システムはまず難易度に応じて探索意図を選択し、実行結果とフィードバックに基づいて初回探索の優先度を調整する。次に、高レベルの戦略を具体的なtool actionへ展開し、分岐の不確実性に応じて探索量を割り当てる。実行不能、情報量が不十分、または根拠を欠く軌跡は除外される。公開されたSciDataSailor-SFT-2Kには、実際には1,102件のデータベース概要探索軌跡と1,225組の指向型質問応答が収録されており、生命科学、地球科学、物理科学をカバーしている。

付属のベンチマークは27件の生データセットを使用し、627件のメタデータ整理タスクと586件の科学的質問応答タスクを含む。これらの軌跡でQwen3.5-9Bをファインチューニングしたところ、12ステップ制限下のデータベース概要探索におけるPass@1は14.01から28.99へ、完了率は49.76%から96.14%へ向上し、平均ステップ数は10.21から6.24へ減少した。この結果は、軌跡による教師あり学習が、小規模モデルに単にドメイン知識を追加するのではなく、確認すべきファイルをより迅速に判断する方法を主に学習させたことを示している。

同時に、結果は評価予算の重要性も浮き彫りにした。DeepSeek-V4-Proの概要探索Pass@1は、ステップ数の上限を12から24へ増やすと、16.43から52.66へ上昇した。プロプライエタリモデルは通常、より早い段階で有効な経路を発見する一方、一部のオープンモデルは、試行錯誤の回数を増やすことで差を縮める。そのため、科学エージェントを工学的に比較する際には、tool callの上限、token数、エラー回復、sandbox設定も併せて報告する必要がある。

制約として、メタデータに関する回答はLLM-as-a-Judgeによって採点され、数値許容誤差とテキスト規則が適用されるのは指向型質問応答のみである。訓練データは公開されているものの、完全なベンチマークと生成pipelineの再現性については、今後も外部による検証が必要だ。また、27件のデータセットだけでは、実験室で直面するアクセス権限、破損ファイル、プロプライエタリ形式、データガバナンスといった問題を十分に代表できない。