Orcetra、自らAutoMLベンチマークの歪みを公表：同一サブセットでの勝率が59.4%から34.3%に低下

Orcetraチームは、異例ともいえる自己監査を公開した。1,661行で実装されたこのAutoML探索器は当初、513件のOpenML表形式データセットで57.1%の勝率を記録し、AutoGluonの21.6%、FLAMLの10.9%を上回っていた。しかし、その探索ループは同じテスト分割上で数十個の候補モデルを評価し、その中の最高スコアを報告していた。一方、競合システムは訓練データ内でモデルを選択し、最後に一度だけテストセットを使用していた。そのためOrcetraが測定していたのは単なる汎化性能ではなく、最も有利なテストノイズへの適応的な選択だった。

第2の問題は、名目上の60秒という制限が厳密な締め切りではなかったことだ。プログラムは次の候補を開始する前にしか時間を確認せず、すでに開始したモデルは完了まで実行できた。その結果、Orcetraのデータセット当たりの実行時間中央値は120秒に達し、AutoGluonの2.24倍となった。さらに、4つのワーカープロセスが同じ20コアのARM64ホスト上で各モデルにリソースを奪い合わせていた。時間制限を順守するFLAMLとAutoGluonは混雑によって試行回数が減った一方、Orcetraは実経過時間を延ばすことで探索量を維持していた。加えて、回帰タスクのみを再実行した別の結果を誤って統合すると、見かけ上の勝率は61.2%にまで上昇する。

著者らは、検証セットでモデルを選択し、外部プロセスで締め切りを強制するとともに、各フレームワークへ5コアずつ固定で割り当てる方式に変更した。再実行した143件のデータセットでは、旧プロトコルによるOrcetraの勝率は59.4%だったが、修正後は34.3%に低下し、FLAMLおよびAutoGluonとのペアごとの差はいずれも有意ではなかった。ペア分析によると、テストセットを直接使ったモデル選択の寄与は約4.8パーセントポイントで、歪みの大部分は計算資源の割り当てに起因していた。

これは、短い時間制限下でのモデル探索、代理評価、推論ルーティングに直接的な警告を与える。予算は外部の実行機構によって強制し、実際の実経過時間、コア数、候補数を記録しなければならない。ただし、修正版で再実行されたのは143件のデータセットに限られ、各データセットでは1つの分割しか使用されていない。また、AutoGluonには選定対象となったfastaiモデルが含まれていなかった。したがって、これらの割合を別のハードウェア環境へ外挿するのは適切ではない。それでも、OrcetraのWebサイトとREADMEには現在も旧来の57.1%という結果が掲載されており、公開上の主張とデフォルトの評価パイプラインが同期して更新されるか、エンジニアリングチームは注視すべきだ。