EXAONE Finance、2億200万パラメータのAttention不要な時系列モデルを公開、重みとコードに異なるライセンスを適用

LG AI Researchは、EXAONE Finance 1.0の重みとEXAONE-Forecastの推論コードを公開し、金融時系列予測を、データセットごとに勾配を更新する必要のないゼロショット基盤モデルとして実現した。この2億200万パラメータのモデルは自己注意機構を完全に排除している。各ブロックではカーネルサイズ7の因果1次元畳み込みによって時間方向の情報を混合し、その後、グループ認識pooling MLPで異なる変数を処理する。そのため、理論上の計算量はそれぞれ系列長と変数数に対して線形に増加し、Attentionのような二乗オーダーのコストにはならない。

モデルは、単一系列、長さの異なる系列のリスト、または2次元のマルチチャネル配列を入力として受け付け、内部で正規化を行い、`NaN`で表された欠損値も処理する。学習時には連続区間マスキングを導入し、金融データで一般的な取引停止、異なる取引日、断続的な観測に適応させた。公開checkpointのコンテキスト長は512、最大予測ホライズンは2,048で、0.01から0.99までの21分位点を出力する。このため、単一の点推定だけでなく、中央値予測と不確実性区間を直接生成できる。

チームによると、EXAONE FinanceはFinVerseの点予測、クロスセクション・ランキング、ポートフォリオ結果という3層の評価すべてで首位となり、同一ウィンドウ条件で44モデルを比較したという。ただし、FinVerseと候補モデルの評価はいずれもLGのチームが構築したものだ。また、ポートフォリオのバックテストを将来の取引可能なリターンと同一視することはできず、取引コスト、データのタイムスタンプ、資産の上場廃止、市場制度の変化を引き続き検証する必要がある。もう一つの導入上の落とし穴は、ライセンスが分離されている点だ。GitHubの推論コードには商用利用を認めるBSD-3-Clause-LG AI Research Licenseが適用される一方、Hugging Faceの重みは非商業的な研究および教育目的でしか利用できない。エンジニアリングチームは今後、データ漏洩、市場や期間をまたぐ分布ドリフト、実運用時のレイテンシ、ならびにグループ認識ミキサーの完全な系列間グルーピングがこのcheckpointではまだ有効化されていないことによる影響を優先的に検証すべきだ。