Paper2Agent、論文コードをテスト済みMCPツールにコンパイル—生物医学研究100本中74本で成功

Paper2Agentは、科学論文を単にモデルが検索するためのテキストとしてではなく、コンパイル可能なエージェント向けインターフェースとして扱う。中央のオーケストレーションエージェントがまず論文に対応するコードベースとデータを探し、実行環境を構築する。その後、専用のサブエージェントが汎用化可能な関数を抽出し、MCPツール、静的リソース、ワークフロー用プロンプトを生成する。テストエージェントは元のチュートリアルを基に、数値、ファイル、画像の検証を作成し、実行、診断、修正を繰り返す。各関数について最大6ラウンド試行し、それでも失敗する場合はMCPデコレーターを削除して外部に公開しない。これにより、下流のエージェントが呼び出すのは、READMEをその場で読んで即興で書いたコードではなく、型付きインターフェースとテスト記録を備えた研究手法となる。

チームは、ドキュメントの品質で選別していない計算生物学論文100本を対象にエンドツーエンドのテストを実施し、74本の変換に成功した。生成された599個の候補ツールのうち、593個が自動検証を通過した。これらの論文から作成した300問のチュートリアル課題で評価したところ、Paper2Agentを組み合わせたSonnet 4の正解率は91.2%で、同じモデルに論文とコードベースを直接与えた場合の80.3%を上回り、より新しいSonnet 4.6がコードベースを直接操作した場合の86.3%も上回った。生物学以外の論文10本から設定した42件の実行タスクでは、5回の独立実行における平均正解率が98.1%に達し、この方式が単一細胞解析やゲノミクスのツールだけに限定されないことが示された。

本質的な技術的転換は、出版物に付随するコードを、発見可能で、リモートにデプロイでき、ほかのエージェントが組み合わせられる標準インターフェースへ変換する点にある。研究チームはコードに加え、AlphaGenome、Scanpy、TISSUEのサンプルサーバーも公開した。ただし、論文の26%は、実行可能なコード、データ、モデルファイル、または依存環境が欠けていたため、依然として変換に失敗した。また、チュートリアルから派生したテストに合格しても、既定の出力を再現できたことを示すにすぎず、手法そのものの正しさや新しいデータへの適用可能性を保証するわけではない。主要なパイプラインはClaude Codeと特定バージョンのSonnetを使用しており、モデルをまたいだ動作、悪意あるコードベースの隔離、認証情報の管理、実行環境の長期保守は、実運用に先立って解決すべきエンジニアリング上の境界条件として残っている。