科學機器學習
UNICON 以 4,160 萬參數統一九類數值系統,凍結權重也能跨領域預測
UNICON 將河川、交通、電網、氣象與人流等資料轉成共同的圖序列介面,透過少量數值範例在上下文中指定新任務。模型在未參與訓練的網頁流量等領域接近專用模型,但目前只驗證預測問題,權重與程式碼亦未公開。

語言模型以文字範例臨時習得任務,UNICON 嘗試把同一概念搬到沒有共同詞彙的數值系統。[論文](https://arxiv.org/abs/2607.28432)將河川集水區、道路、電網、氣象網格與網頁視為圖:節點承載一段多變量歷史,邊表示實體關係;上下文中的 key-value 對則分別是歷史狀態與指定預測期後的未來狀態。模型依序處理這些範例,最後為只有 key 的查詢產生未來狀態,全程不需資料集專屬輸入層、輸出層或梯度更新。
UNICON 只有 4,160 萬個可訓練參數,以約 216 GB、20 個資料來源訓練,涵蓋水文、交通、能源、陸地、海洋、太陽能及人類移動等九類系統;訓練使用兩張 NVIDIA H200、歷時 28 小時。研究者再以九個系統測試,其中空氣品質、WikiMaths 網頁活動與太空天氣所屬領域完全未出現在訓練集。凍結模型使用五個相似範例後,整體明顯優於同樣範例驅動的 kNN;在 WikiMaths 上接近為該資料訓練的專用模型。加入語言模型代理選擇、重組多組數值提示並彙整重複呼叫,WikiMaths 與 CAMELS-CL 更超過論文採用的專家基線。
控制實驗顯示,移除範例、打亂歷史與未來的配對,或破壞數值都會增加誤差;只給一個正確範例已能取回五個範例的大部分增益。這使它更像數值版 in-context learner,而非單純的大型預測器。不過評測仍限於時間序列預測,尚未涵蓋補值、異常偵測、模擬與控制;代理增益也包含多次推論成本。原始資料分散於各提供者,部分評測集如 [AirQualityBench 使用的公開資料](https://huggingface.co/datasets/xuxing123/aq_dataset)可取得,但團隊沒有同步釋出模型、訓練程式與完整代理流程,跨領域結果仍待獨立重現。