Mistral、時系列モデルTimestralを公開　多変量予測と既知の将来共変量に対応

Mistralは10月15日、初の時系列基盤モデルシリーズTimestralを公開した。5M、28M、123M、209Mの4つのサイズがあり、センサー、需要、容量などの数値予測を対象とする。ゼロショット推論に対応しており、チームは既存の重みを使って新しいデータを試し、ドメイン向けのファインチューニングが必要かどうかを判断できる。公式発表

最大モデルは24層のTransformerを採用し、時間方向と変数方向のアテンションを組み合わせている。32タイムステップごとに1つのパッチを構成し、欠損値の指標もあわせてエンコードする。モデルが受け付ける過去のタイムステップは最大32,768で、1回のフォワードパスで1,024ステップ先まで予測し、21個の分位点を出力する。さらに先の予測では分割処理を行い、前のブロックの中央値をコンテキストに戻す。そのため、長期予測で誤差が累積するかどうかは別途検証する必要がある。モデルカード

技術面の焦点は、過去の情報をどう保持し、外部シグナルをどう利用するかにある。Decoupled Horizon Forecastingでは、学習可能な予測トークンが過去の情報を参照するため、予測対象と実際の欠損値が混同されない。アテンションでは、予測対象、過去の値のみが利用できる共変量、事前に判明している将来の共変量を区別する。これにより、スケジュールや祝日カレンダーを予測に利用しつつ、予測対象の将来値が漏洩するのを防ぐ。学習は合成データのみで始め、その後、実データを混ぜてコンテキストを拡張する。技術解説

公式モデルカードによると、GIFT-EvalにおけるMASEは209M版が0.658、123M版が0.659だった。TIMEでの対応するスコアはそれぞれ0.626と0.628で、いずれの指標も低いほど良い。小型モデルもこの2つのテストでは最大モデルに近い成績を示しており、導入を検討する際はコスト比較の対象に加える価値がある。ただし、これらは公開元が提示した結果であり、詳細な技術レポートはまだ公開されていない。評価表

エンジニアリングチームはPyTorchを使い、CPUまたはGPUで実行できる。重みはModified MITライセンスで提供される。監視システムでは、分位点の出力をアラートしきい値の設定に利用できる。導入前には時間に基づいてデータを分割したバックテストを行い、分位点のカバレッジ、データドリフト、将来の共変量が予測時点で実際に取得可能かを確認する必要がある。モデルの規模や公開ベンチマークのスコアだけでは、特定の生産ラインでの精度やレイテンシは判断できない。導入・ライセンス情報