ERAのパンデミック予測における後ろ向き評価の11％優位を再検証、データ改訂の漏洩で改善のほぼすべてを説明可能

Johannes BracherとSebastian Funkは、Google ERAが『Nature』で発表したCOVID-19入院予測の事例を再分析し、CDC Forecast Hubのアンサンブルモデルに対するWeighted Interval Score（WIS）の11％改善は、後ろ向き評価におけるデータ漏洩でほぼ説明できると指摘した。問題はテストラベルが訓練セットへ直接混入したことではなく、「データのバージョン」にある。CDCモデルは2024／25年シーズンに毎週リアルタイムで予測を提出しており、その時点ではまだ不完全で、後に大幅に改訂される可能性のある入院者数しか参照できなかった。一方、ERAのバックテストはシーズン終了後に統合されたデータを読み込んでおり、将来になって初めて判明する情報を得ていたことになる。

元の研究は、米国の52州・地域と0～3週間の予測期間を対象に、平均WISがCDCアンサンブルの29.1から25.9へ低下したと報告していた。再分析では、1,430件の州・週の組み合わせを、最後の観測値の改訂幅に応じて区分した。相対改訂幅が1％以下の場合、ERAとCDCの相対WISは1.00だった。絶対改訂幅が1以下の場合も1.01で、いずれも実質的な優位性はなかった。これに対し、改訂幅が25％を超えるグループでは、相対WISが0.69まで低下した。改訂が最も激しかったわずか9件がWIS差全体の20％を占めており、そのケースにおけるERAとCDCの平均WISは、それぞれ88と189だった。

この結果は、ERAのLLMと木探索を組み合わせた手法が無効であることを証明するものではない。著者らは特に、改良版のGoogle SAI Ensembleが2025／26年シーズンに真のリアルタイム提出方式で運用され、3種類の疾患のリーダーボードで首位に立っていると指摘している。また、2つの実験ではモデル選択とアンサンブル戦略も異なる。否定されたのは、「元の後ろ向き評価の結果が、同時期のCDCアンサンブルを上回ることを証明した」という因果的な解釈である。

影響はパンデミック予測に限られない。需要、金融、マクロ経済のデータも同様に、遅延報告、再分類、改訂の対象となる。AI予測や自動データサイエンスのベンチマークを構築する際、エンジニアはタイムスタンプ付きのデータスナップショット、特徴量、外部APIのレスポンスを保存し、モデルが予測締切時刻以前のバージョンだけを読み取れるよう制限するとともに、前向きのブラインドテストを優先すべきである。現在のデータを使って過去の時点を単純に再実行すると、再現可能ではあっても公平ではないリーダーボードが生まれかねない。