Reconstruction、論文を隠して過去の参考文献のみを提示――複数モデルによる評価で研究アイデアの一致率が14.6%から35.6%に向上

Reconstructionは、「モデルが研究アイデアを提案できるか」という問いを、より検証しやすいブラインドテストへと変える試みだ。システムはシード論文のタイトルと要旨を隠し、発表日より前の参考文献だけを提示して、モデルに5つの仮説を生成させる。その後、生成に参加していない言語モデルの評価者が、各仮説が実際の研究アイデアと一致するかを判定する。データセットはICML 2026のoral論文と、Nature系列の5分野を対象としている。日付解析、参考文献の重複排除、完全性に基づくフィルタリングを経て、最終的なマルチエージェント比較には643本の論文が残った。

情報漏洩を防ぐプロセスには、厳密な時間的カットオフ、匿名化されたreference ID、論文ごとに固定されたbibliography、生成段階でのWeb検索禁止が含まれる。7種類の単一モデルの一致率はおおむね3%から15%にとどまった。これは、関連文献がコンテキスト内に存在していても、研究の流れから具体的な問題設定と貢献を再構成することが依然として難しいことを示している。

マルチエージェント版では、まず成績上位の4モデルがそれぞれ5つの候補を生成し、候補の位置に基づいて5グループを構成する。ほかのモデルが同じ匿名文献を参照しながら相互にレビューし、候補は3ラウンドのスイス式ペアリングで競い合う。提案を生成したモデルは評価者を担当できず、同じペアリングでも提示順を入れ替えることで、自己評価バイアスと位置バイアスを抑える。最終的に選ばれた5つの仮説だけが、独立したMatch評価者に渡される。全体の一致率は35.6%で、評価者を調整した後の最良の単一モデルの14.6%に対して約2.4倍となった。分野別のマルチエージェント結果は22.9%から41.6%だった。

ただし、この向上分のすべてがマルチエージェント協調そのものによるとは限らない。単一モデル条件では5候補をそのまま残す一方、マルチエージェント条件では20候補から5候補を選抜し、より多くのtokenを使用している。また、両条件の評価モデル群も完全には一致していない。モデルが事前学習中にシード論文を目にしていた可能性もあり、時間的カットオフで防げるのはプロンプト経由の情報漏洩に限られ、パラメータに記憶された情報までは排除できない。さらに著者らは、人間の評価者間一致度、同一計算量でのbest-of-20比較、公開実装をまだ提供していない。研究エージェントの開発者は、この成果を有用なベンチマーク設計案として捉えるべきであり、自動科学発見の有効性が実証された証拠とみなすべきではない。