AI evaluation / scientific reasoning
物理学の専門家が6つのAIベンチマークを再評価、問題修正後にGPT‑5.6‑Solのスコアが最大50ポイント超上昇
6つの物理学評価を対象とした人手による監査で、自動採点により誤答とされた回答の多くが、実際には誤った参照解答、採点器の欠陥、または問題文の不備に起因していたことが判明した。問題を修正または除外した後、GPT‑5.6‑Solは残されたCritPt問題で94.4%のpass@4を記録したが、これは元の全問題を対象としたランキング成績と同一ではない。
最新のプレプリントでは、物理学の各分野の教員と大学院生を集め、HLE-Physics、CMT-Benchmark、CritPt、UGPhysics、PRISM-Physics、PHYBenchという6つの評価を再検証した。監査対象には、問題文、公式の参照解答、モデルの回答、自動採点結果が含まれ、失敗を真の推論エラー、誤った参照解答、採点器による誤判定、曖昧または情報不足の問題に分類した。著者らの報告によれば、調査した当初の誤答の大半は後者3つに該当し、モデルが実際に物理学を理解できていなかったわけではなかった。
最も大きな影響が見られた例はGPT‑5.6‑Solだ。HLE-Physicsのmean@4は47.3%から78.7%に、CMT-Benchmarkは61.0%から87.2%に上昇した。CritPtでは当初、70問の研究レベルの課題に対するmean@5が32.3%だった。専門家が解答を修正し、不適格な問題を除外した結果、54問が残り、mean@4は87.5%、pass@4は94.4%に達した。これは、厳密解答方式や専用の採点器が必ずしも信頼できるとは限らないことを示している。記号上は異なっていても等価な表現、単位に関する慣例、近似上の仮定、問題文の情報欠落などにより、有効な解答が誤答として扱われる可能性がある。
モデル開発者にとって、この結果が意味するのは「物理推論は解決済み」ということではなく、多くのクローズド形式の科学ベンチマークでは、データ品質によって測定精度の上限が制約されているということだ。評価パイプラインでは、推論過程と採点の完全な記録を保存し、分野の専門家による再審査を可能にするとともに、元の全問題に対する結果と修正後のサブセットに対する結果を分けて報告すべきである。そうしなければ、一度のデータクリーニングだけで、あたかもモデルが世代をまたいで飛躍したかのような結果が生じかねない。
94.4%という数値を、Artificial Analysisが公開しているCritPtランキングのスコアの代わりに直接用いることはできない。問題セット、再試行回数、指標のすべてが変更されており、さらにこの研究は主として文章問題と検証可能な最終結果に焦点を当てているためだ。真の研究能力には依然として、モデリング、仮説の提示、実験の設計、未知の問題に対する判断が含まれる。次世代のベンチマークでは、事前に妥当性を検証した問題、バージョン管理された解答、監査可能な採点器を採用する必要がある。