OmniScientist、マルチモーダルな証拠を研究プロセス全体で活用――直接知覚版がペア比較評価の85%で勝利

既存の「AI Scientist」の多くは、文献検索、実験コードの作成、論文生成を行える一方、扱う情報はテキストによる説明、ラベル、事前計算済みの統計量に限られがちだ。OmniScientistは、生の画像、波形、スペクトログラム、音声、動画、3D構造、軌跡、表、数式、グラフデータを研究ライフサイクル全体に取り込み、人間が事前に選んだ特徴量によって空間的・時間的・チャネル間の関係が失われることを防ぐ。

システムは知覚レイヤーと、着想、実験、執筆を担う3つの自律エージェントで構成され、その外側を決定論的なワークフローが取り囲む。各段階では、プログラムによるチェックを通過しなければならない。チェック項目には、新規性と反証可能性、データリーク、有効サンプルサイズ、多重比較、実行の来歴、数値のトレーサビリティ、結果を見てから仮説を変更する行為の防止が含まれる。実験が失敗した場合や帰無結果となった場合、ワークフローは着想段階へ戻ることができる。新しい分野への対応は、主にデータと出力を定義する仕様ファイルを通じて行われ、コアエンジンを書き直す必要はない。

論文では、5つの分野群と4種類の証拠にまたがる36件の実データケースを報告しており、すべてで生データからコンパイル可能な原稿まで到達した。参照推論モデルを使用した場合、7つの評価軸に基づく総合スコアの平均は6.3／10だった。事前計算済みのscalar featuresしか読み取れないブラインド版とのペア比較では、直接知覚版が7つすべての評価軸で改善し、判定の85%で勝利した。公開ページでは、3回分の実行リプレイ、コードのログ、生成原稿も提供され、エージェントが証拠からどのように主張を形成したかを読者が検証できるようになっている。

ただし、これらのスコアは依然として主にモデルによる評価であり、論文を完成させたことが、査読を経た新発見を得たことを意味するわけではない。論文には36件のケースと記載されている一方、プロジェクトのホームページでは34件と表示されている。また、ホームページはコードが公開済みだとしているが、執筆時点ではGitHubへのリンクが404を返した。こうしたバージョン管理と再現性の問題を先に解決したうえで、コスト、エラー発生時のロールバック能力、実際の研究室間汎化性能を比較すべきだ。