UNICON、4,160万パラメータで9種類の数値システムを統一、重みを凍結したまま分野横断予測

言語モデルがテキスト例からその場でタスクを学習するように、UNICONは、共通の語彙を持たない数値システムへ同じ概念を持ち込もうとしている。[論文](https://arxiv.org/abs/2607.28432)では、河川流域、道路、電力網、気象グリッド、Webページをグラフとして表現する。各ノードは多変量の履歴系列を保持し、エッジは物理的な関係を表す。コンテキスト内のkey-valueペアでは、keyが過去の状態、valueが指定された予測期間後の将来状態にそれぞれ対応する。モデルはこれらの例を順番に処理し、最後にkeyのみが与えられたクエリの将来状態を生成する。データセット固有の入力層や出力層、勾配更新は一切必要ない。

UNICONの学習可能パラメータ数はわずか4,160万で、約216 GB、20のデータソースを用いて学習された。対象は、水文、交通、エネルギー、陸域、海洋、太陽エネルギー、人間の移動など、9種類のシステムに及ぶ。学習には2基のNVIDIA H200を使用し、所要時間は28時間だった。研究者らはさらに9つのシステムで評価を行い、そのうち大気質、WikiMathsのWebアクティビティ、宇宙天気は、該当分野自体が学習データにまったく含まれていなかった。凍結したモデルに類似する例を5件与えると、全体として、同様に例を利用するkNNを明確に上回った。WikiMathsでは、そのデータ専用に学習されたモデルに迫る性能を示した。さらに、言語モデルエージェントを使って複数の数値プロンプトを選択・再構成し、反復推論の結果を集約すると、WikiMathsとCAMELS-CLでは、論文で採用された専門家ベースラインさえ上回った。

対照実験では、例を削除する、過去と将来の対応関係をシャッフルする、あるいは数値を破壊すると、いずれも誤差が増加した。また、正しい例を1件与えるだけで、5件の例による改善効果の大部分を得られた。この結果は、UNICONが単なる大規模予測器ではなく、数値版のin-context learnerに近いことを示している。ただし、評価対象は依然として時系列予測に限られており、補完、異常検知、シミュレーション、制御はまだ扱われていない。エージェントによる性能向上には、複数回の推論に伴うコストも含まれる。元データは各提供元に分散しており、[AirQualityBenchで使用された公開データ](https://huggingface.co/datasets/xuxing123/aq_dataset)など、一部の評価データセットは入手可能だが、チームはモデル、学習コード、完全なエージェントワークフローを同時公開していない。分野横断的な結果については、今後、独立した再現検証が必要となる。