Hugging FaceとEarthmoverがAuroraとERA5を接続、AI天気予報のボトルネックをデータパイプラインへ移行

Hugging FaceとEarthmoverは9月8日、[AI天気予報の実行・検証ワークフロー](https://huggingface.co/blog/hugging-science/earthmover-hf)を公開した。気象データのアーカイブ全体を事前にダウンロードすることなく、解析可能なERA5データからMicrosoft Auroraへの入力を構築する方法を示している。ここで解決されるのはモデル推論そのものではなく、推論前のデータエンジニアリングだ。1回の初期化には約1GBのデータが必要で、1年分をバックテストする場合、入力だけで約360GBを占める可能性がある。モデルの実行が数秒で終わる場合、GPUはダウンロードと変換を待っていることのほうが多い。

この例では`aurora-0.25-pretrained`を使用する。このcheckpointは0.25度のERA5形式グリッドを受け取り、1回のforwardで6時間後の全球大気状態を予測する。自己回帰的なrolloutを4回行うと24時間予報、28回行うと7日間予報になる。コードはArraylakeの読み取り専用セッションと`xarray.open_zarr`を通じて地表変数と気圧面変数を選択し、2メートル気温、10メートル風、海面更正気圧に加え、気温、風、湿度、ジオポテンシャル高度をAuroraの`Batch`にまとめる。ERA5には含まれないものの、学習時の設定と一致させる必要がある土壌タイプなどの静的変数は、Hugging Face Hubから別途ダウンロードする。

このパイプラインは、デモでは最も省略されやすい検証工程も補っている。出力を座標付きの`xarray.Dataset`として再構成し、有効時刻に対応するERA5の状態を取得したうえで、緯度の余弦で重み付けした全球RMSEを計算する。公式demoによると、エンドツーエンドの24時間予報は約30秒で完了する。ローカルCPUでは6時間の各ステップに約2～3分かかる一方、GPUでは数秒で済む。適切なハードウェアがない場合は、Hugging Face Jobsにジョブを送信でき、例では分単位課金のA100を使用している。

ただし、エンジニアリングチームはこれを運用グレードの気象サービスではなく、入門および再現用のテンプレートとして捉えるべきだ。[Auroraのドキュメント](https://microsoft.github.io/aurora/models.html)には解像度やfine-tuningの異なるcheckpointが掲載されており、モデル、気圧面、変数名、静的場のいずれかを誤って選ぶと、もっともらしく見えても比較不能な出力が生成される可能性がある。また、ERA5は再解析データであり、リアルタイム観測と同じではない。例で利用できるデータは現在から約数カ月遅れているため、リアルタイム同化、データ遅延、長期的なドリフト、極端現象のキャリブレーションはまだ対象に含まれていない。次に注目すべき点は、複数モデルで統一された入力schema、バッチバックテストのコスト、そして同じデータパイプラインがAIFSやFourCastNetなどのモデルを公平に比較できるかどうかだ。