代理評測
Terminal-Bench-Science 0.1、70件の実践的な科学研究ワークフローでエージェントを評価、最高解決率はわずか30％
Stanford主導のオープンベンチマークは、データ分析、シミュレーション、定理証明、機器校正などの科学研究を再実行可能なターミナルタスクとしてパッケージ化した。Claude Codeと組み合わせたClaude Opus 5が首位となったが、3回の試行後も解決率は30％にとどまり、一般的なcoding benchmarkでの高得点を科学研究へそのまま外挿できないことを示している。
Terminal-Bench-Scienceはバージョン0.1を公開し、生命科学、物理科学、地球科学、数理科学、工学科学の5分野から70件の研究ワークフローを収録した。タスクはコード生成だけでなく、統計的推論、シミュレーションと最適化、逆問題、画像再構成、信号処理、センサー校正、モデルフィッティング、Scientific Machine Learningも対象とする。各タスクは隔離されたターミナル環境で実行され、出力は自動テストで検証される。データセット、環境、oracle解法、バージョンはすべてHarborを通じて再実行できる。
初回のリーダーボードでは、各モデル–エージェントの組み合わせが全タスクをそれぞれ3回実行した。Claude Opus 5／Claude Codeがresolution rate 30.0％で首位となり、GPT-5.6 Sol／Codexは22.4％、Claude Fable 5／Claude Codeは21.4％だった。最も高性能なオープンモデルであるGLM-5.3も8.1％にとどまった。また、一般版Terminal-Benchでも評価されたすべてのシステムで、科学版の解決率が10パーセントポイント以上低下した。専用パッケージ、分野固有の仮定、検証可能な数値結果に依存する作業は、ファイルの修正や定型的なshellワークフローの実行よりはるかに難しいことがうかがえる。
このベンチマークは、コストとtokenのPareto frontierも公開している。GPT-5.6 Solによる全タスクの評価コストは4,200ドルと報告されており、Claude Fable 5の3分の1未満のコストで同程度の成績を達成した。一方、Claude Fable 5の使用token数は約64億で、Solの84億を下回った。これは、研究チームが成功率だけを比較するのではなく、試行回数、token、sandbox費用、失敗の再現性も同時に測定する必要があることを示している。
データセットは920件の提案から70件の正式タスクへ絞り込まれ、分野、技術、最終基準の3段階で審査された。ただし、現行タスクのスコアは全体として合格か失敗かを判定する二値方式であり、validatorに複数の部分条件が含まれていても、「完了に近い」進捗を捉えられない可能性がある。70件という規模と3回の試行だけでは、サンプリング変動を取り除くにも不十分だ。バージョン0.2では、部分点、環境のflakiness、ショートカットとreward hacking、さらにタスク公開後にその内容が訓練データへ取り込まれる可能性に注目すべきだ。