Applied AI research
Hugging Face 與 Earthmover 串起 Aurora、ERA5,將 AI 天氣預報瓶頸移到資料管線
新公開的可執行流程直接串流 ERA5 初始條件,讓 Aurora 在本機或按分鐘計費的工作上生成並回測預報。它沒有推出新模型,技術價值在於把權重、氣象陣列、靜態變量與驗證步驟接成可重現管線。

Hugging Face 與 Earthmover 於 9 月 8 日公開一套 [AI 天氣預報執行與驗證流程](https://huggingface.co/blog/hugging-science/earthmover-hf),示範如何從分析就緒的 ERA5 資料建立 Microsoft Aurora 輸入,而不是先下載完整氣象封存檔。這解決的不是模型推論本身,而是推論前的資料工程:一次初始化約需 1GB 資料,若回測一整年,單是輸入便可能占用約 360GB;模型只跑數秒時,GPU 反而常在等待下載與轉換。
範例使用 `aurora-0.25-pretrained`。這個 checkpoint 接收 0.25 度 ERA5 格式網格,每次 forward 預測六小時後的全球大氣狀態;四次自回歸 rollout 形成 24 小時預報,28 次則形成七天預報。程式透過 Arraylake 的唯讀工作階段及 `xarray.open_zarr` 選取地表與壓力層變量,再把 2 公尺溫度、10 公尺風、海平面氣壓,以及溫度、風、濕度和位勢高度組成 Aurora `Batch`。ERA5 不含、但必須與訓練配置一致的土壤類型等靜態變量,則從 Hugging Face Hub 另行下載。
管線也補上最容易被展示略過的驗證環節:把輸出重新組成帶座標的 `xarray.Dataset`,依有效時間取回 ERA5 狀態,再用緯度餘弦加權計算全球 RMSE。官方 demo 宣稱端到端 24 小時預報可在約 30 秒內完成;本機 CPU 則每個六小時步驟約需二至三分鐘,GPU 為數秒。沒有適合硬體時,可提交 Hugging Face Jobs,範例採用按分鐘計費的 A100。
工程團隊仍應把這視為入門及重現樣板,而非營運級天氣服務。[Aurora 文件](https://microsoft.github.io/aurora/models.html)列出不同解析度與微調 checkpoint,選錯模型、壓力層、變量名稱或靜態場都可能產生看似合理但不可比較的輸出。ERA5 又是再分析資料,不等同即時觀測;範例可用資料落後現時約數月,因此尚未涵蓋即時同化、資料延遲、長期漂移與極端事件校準。下一步應觀察多模型統一輸入 schema、批量回測成本,以及同一資料管線能否對 AIFS、FourCastNet 等模型提供公平比較。