Fisher-R1、検証可能なp値で統計エージェントを訓練、P-HardのStrict pass@1で33.0%を達成

科学エージェントは、実行可能なコードを書けたとしても、誤った統計検定を選ぶことで、精密ではあるものの無効な結論を導く可能性がある。スタンフォード大学とウィスコンシン大学のチームが提案した[P-Bench](https://arxiv.org/abs/2608.07437)は、まさにこのギャップを測定するためのベンチマークだ。経済学、生物学、医学の実データに基づく425件のタスクで構成され、エージェントに与えられるのは研究課題、データの説明、CSVのみ。エージェントはデータを自ら探索し、手法を選択してRコードを実行したうえで、p値と、帰無仮説を棄却するか棄却しないかの判断を提出しなければならない。

問題は、Cox回帰、操作変数法、混合効果モデル、ノンパラメトリック検定など、17種類の手法を網羅する。難易度の高いセットには、外れ値、不均一分散、クラスター化された観測といった落とし穴も加えられている。評価のRaw指標は結論の方向だけを見る一方、Strictでは、報告されたp値から換算した両側zスコアと参照解との差が0.5未満であることも求める。このため、有意かどうかを推測するだけでは合格しにくい。

Fisher-R1はQwen2.5-Coder-7B／14Bをバックボーンとし、まず選別済みの3,851件の軌跡で教師ありファインチューニングを行い、その後8,642件の合成統計タスクを用いてDAPOを実施した。報酬の90%はp値の近さ、10%は結論の検証によって決まり、さらに軌跡に実行可能なコードが含まれることを要件とする。14B版のP-Hard Strictにおけるpass@1は33.0%で、DeepSeek V4 Proの26.3%とGPT-5.4の30.5%を上回った。7B版では、P-Easy Strictにおけるバックボーンのスコアを36.3%から65.7%へ引き上げた。

エンジニアリング上の注目点は、報酬が「手法そのものが正しいか」を直接検証していないことだ。不適切な手法は通常、異なるp値につながるという前提に立っている。複数の分析戦略が同程度に妥当となる場合、単一の標準解では依然として評価範囲が狭すぎる可能性がある。また、確認時点で[公開リポジトリ](https://github.com/jmu27/FisherR1)にあるのはREADMEのみで、論文に記載された重み、P-Benchデータ、訓練コード、ライセンスはまだ提供されていない。今後は、完全な資産一式によって報告値を再現できるか、また事前登録、複合エンドポイント、多重比較など、より現実的なワークフローでモデルがどの程度の信頼性を示すかを見極める必要がある。