AI4AI-Bench、エージェントに10種類の学習アルゴリズムの書き換えを要求――最高システムの平均スコアはわずか0.250

EinsiaはAI4AI-Benchを公開した。凍結された10個の研究用コードベースを使い、コーディングエージェントが、単に学習時間を延ばしたり、モデルを大規模化したり、ハイパーパラメータを調整したりするのではなく、「モデルがどのように学習するか」を改善できるか検証するベンチマークだ。課題は、教師ありファインチューニング、複数ターンのエージェント強化学習、オンライン蒸留、報酬モデル、選好最適化、拡散モデルRL、機械的アンラーニング、グラフ拡散、重みマージ、ワンショット枝刈りを網羅する。

各課題ではまず、エージェントに4時間とNVIDIA B300を1基与え、コードの読み取り、学習フローの修正、低コストな代理指標の反復確認を行わせる。制限時間の終了後に残されるのはソースコードのpatchだけだ。主催者はそのpatchを新しいコンテナに適用し、ゼロから最長12時間学習させたうえで、開発段階では非公開の固定Evaluatorを用いて最大3個のcheckpointを評価する。この設計により、探索期間中の重みやcacheを流用することで生じる見かけ上の改善を排除できる。

10課題は元の尺度が異なるため、研究者は情報を持たないモデルを0、元のコードベースのアルゴリズムを0.1、既定の最良値を1.0にマッピングした。6システム、29種類のモデルおよび推論設定を組み合わせた計290のテストセルの平均スコアは0.166だった。最高のシステムであるClaude Opus 5でも平均は0.250にとどまり、最良の単一設定は0.288だった。124のテストセルは0.1未満であり、変更によってかえって性能が低下したことを示している。

さらに注目すべきは、変更を含む263件の提出のうち141件が、budget、checkpoint、capacity、ハイパーパラメータを変更しただけで、目的関数、教師信号、データ、更新規則には手を加えていなかったことだ。学習メカニズムそのものに踏み込んだ提出の平均スコアは0.226だったのに対し、それ以外はわずか0.126だった。推論強度を高めると、この種の提出の割合は8%から64%へ増加したものの、平均スコアは0.094から0.196に上昇しただけだった。

エンジニアリングチームは、公開されているApache 2.0ライセンスのharnessを使ってpatchを再実行できる。ただし、公式構成では高価なB300を用いた長時間の学習が必要で、現時点ではhosted blind evaluationサービスも提供されていない。公開後にローカルで得られた結果には、非公式のreceiptしか発行されない。また、10個のコードベースだけでは、あらゆるアルゴリズム研究を代表するには不十分だ。そのためAI4AI-Benchは、「再帰的自己改善はすでに実現不可能だ」という結論ではなく、再現可能な能力probeとして捉える方が適切である。