返回首頁

最新模型

Mistral 發布 Timestral 時間序列模型,支援多變量與已知未來協變量預測

Mistral 於 10 月 15 日公開 Timestral,提供 5M 至 209M 參數權重,可在 CPU 執行機率預測。模型支援 32,768 個時間步上下文,但官方評測優勢與實際部署效能仍待獨立驗證。

VulcanSphere · Public domain · Image source
zh-Hant

Mistral 於 10 月 15 日發布首個時間序列基礎模型系列 Timestral,公開 5M、28M、123M 與 209M 四種規模,面向感測器、需求與容量等數值預測。模型提供零樣本推論,讓團隊先用既有權重測試新資料,再判斷是否需要領域微調。官方公告

最大版本採用 24 層 Transformer,結合時間與變量注意力,每 32 個時間步組成一個 patch,並將缺值指標一起編碼。模型最多接受 32,768 個歷史時間步,單次前向運算預測 1,024 步,輸出 21 個分位數。更長的預測採分塊處理,把上一塊的中位數結果接回上下文;因此長期預測的誤差累積值得另外測試。模型卡

技術重點在於如何保留歷史與使用外部訊號。Decoupled Horizon Forecasting 讓可學習的預測 token 讀取歷史,避免把預測目標與真正缺值混為一談。注意力也區分目標、僅有歷史的協變量,以及事先已知的未來協變量,使排程或假日日曆能參與預測,同時限制目標未來值的資訊洩漏。訓練先使用純合成資料,再混入真實資料並延長上下文。技術說明

官方模型卡列出,209M 版本在 GIFT-Eval 的 MASE 為 0.658,123M 版本為 0.659;TIME 對應成績則為 0.626 與 0.628,這些指標皆是越低越好。較小版本在這兩項測試已接近最大模型,值得部署者納入成本比較。不過,這些仍是發布方提供的結果,完整技術報告尚未公開。評測表

工程團隊可透過 PyTorch 在 CPU 或 GPU 執行,權重採 Modified MIT 授權。對監控系統而言,分位數輸出可作為設定告警門檻的依據;導入前應以時間切分回測,檢查分位數覆蓋率、資料漂移,以及未來協變量是否確實能在預測當下取得。模型大小與公開榜單成績,仍不足以推定特定產線的準確率或延遲。部署與授權資訊

來源

  1. Introducing Timestral
  2. Timestral-209M 模型卡