Iris、修訂可能な知識状態でML実験を駆動し、MLE-Benchの12時間設定でメダル獲得率64.9%を達成

自律型MLエンジニアリングエージェントは通常、各実験を候補解として扱う。コードを修正して評価を実行し、そのスコアに基づいて次の分岐を選ぶ。新たに提案されたIrisは、代わりに「情報状態」を中核に据え、プロセスをinquiryとrevisionに分ける。inquiryでは、現時点の未知事項に基づいて局所的な行動計画を作成し、最良の解を直接修正しないepistemic actionも実行できる。例えば、データリーク、特徴量分布、評価器の挙動を先に調査する。revisionでは、複数の実験結果を、適用範囲と状態を伴う主張として整理する。反証が得られた場合は主張を更新または撤回でき、長大なログをそのままコンテキストへ詰め込む方式とは異なる。

研究ではClaude Opus 4.6でIrisを駆動し、75件のKaggleコンペティションで構成されるMLE-Benchにおいて、各タスクに12時間を割り当てた。3回の実行における平均any-medal rateは64.9%、gold-medal rateは39.1%だった。すべてのタスクで有効な提出物を生成し、76.0%が人間参加者の中央値を上回った。同じ基盤モデルを使用した対照系AIBuildAIは、それぞれ63.1%と25.8%で、時間予算は24時間だった。Irisは、4件のクロスドメイン評価でも、条件を統制したCodexおよびClaude Codeベースラインを上回った。例えば、BrowseCompでは67.7%の精度を達成した。また、Qwen3-1.7Bを出発点としてpost-trainingレシピを設計した場合、HumanEvalとGSM8Kでそれぞれ47.0%と68.4%を記録した。

エンジニアリング上の要点は、計画を担当する役割をもう一つ追加することではない。「何が分かっているか」「証拠がどこまで適用できるか」「どの結論がすでに無効になったか」を、永続的かつ操作可能な状態にすることだ。15件の小規模データによるアブレーションでは、情報管理を削除するとメダル獲得率が66.7%から53.3%へ低下し、適応的な行動トポロジーを削除すると40.0%まで低下した。一方、完全版MLE-Benchでは、各タスクに23 vCPU、234 GB RAM、144 GBのH20-3e GPU 1基を使用しており、全体を再現するコストは非常に高い。論文はIrisのソースコードも提供していない。MLE-Bench公式は現在、ランキングへの新規提出を停止しており、複数のデータ準備上の問題も公表している。そのため、これらの自己申告結果については、公開された実行トレース、詳細なコスト内訳、独立した再実行による検証が依然として必要である。