AI4AI-Bench、エージェントに10種類の訓練アルゴリズムの書き換えを要求――最高のシステムでも平均スコアはわずか0.250

既存の「AIによるAI研究」のベンチマークでは、データ収集、ハイパーパラメータ探索、コード最適化が混在していることが多く、エージェントが本当に新しい学習手法を設計したのか判断しにくい。そこでAI4AI-Benchは、教師ありファインチューニング、複数ターン型エージェントの強化学習、オンライン蒸留、報酬モデル、DPO、拡散モデルのRL、機械的忘却、離散グラフ拡散、重み平均化、ワンショット枝刈りをそれぞれ扱う10個の研究用コードベースを固定し、エージェントに目的関数、更新規則、データフロー、または訓練ループを直接変更させる。

各タスクでは、エージェントに4時間とNVIDIA B300を1基与える。その間、低コストな代理指標を繰り返し利用できるが、最終的に提出できるのはソースコードのみで、重み、キャッシュ、実行状態を持ち出すことはできない。その後、主催者がクリーンなコンテナ内で最長12時間かけてゼロから実行し、エージェントからアクセスできない固定評価器で採点する。異なる指標を統合するため、情報を持たないモデルを0、元のコードベースに実装されたアルゴリズムを0.1、理論上の最良値を1.0と定めている。

研究では、GPT-5.6、Claude 5、Kimi K3など、6種類のモデルとエージェントフレームワークの組み合わせをテストし、29種類の設定、計290件の実験セルを構成した。全実験の平均スコアは0.166だった。システム別ではClaude Opus 5が平均0.250で首位となり、単一設定の最高成績は中程度の推論強度に設定したOpus 5で、平均0.288だった。290回の試行のうち124回は、元のアルゴリズムの基準値である0.1を下回った。実際にコードを変更した263件の提出のうち、141件は計算予算、checkpoint、モデル容量、またはハイパーパラメータを調整しただけで、学習プロセス自体は変更していなかった。アルゴリズム層に実際に手を加えた提出の平均スコアは0.226だったのに対し、それ以外はわずか0.126だった。

これにより、「エージェントが訓練コードを書けること」と「エージェントが有効な訓練アルゴリズムを考案できること」を、初めて比較的明確に操作的に区別できるようになった。また、高い推論予算は主として、より深い変更を試みる意欲を高めるものの、成功を保証するわけではないことも明らかになった。制約として、このベンチマークは極めて高コストであり、各タスクに割り当てられるのはB300を1基と固定された時間枠だけである。さらに、スコア尺度も研究者が設定した無情報点と最良値に依存する。人間の研究者によるベースラインは用意されていないため、エージェントのアルゴリズム研究能力が人間に近づいた、あるいは人間から大きく隔たっていると主張する根拠にはならない。