LimiX‑2、共同メカニズムのモデリングで表形式データを処理――単一の4億パラメータモデルで3種類のタスクに対応

Stable AIチームは9月16日、LimiX‑2の4億パラメータのチェックポイントと推論コードを公開した。これは言語モデルをそのままCSVに適用したものではなく、Prior-Fitted Networkのアプローチを継承している。モデルはまず大量の合成表形式データで事前学習され、デプロイ時には一組の訓練サンプルと予測対象データを受け取り、データセットごとに重みを更新することなく、1回のフォワードパスで分類、回帰、欠損値補完を実行できる。

アーキテクチャ上の中核的な変更はContextual Mechanism Networkである。従来の表形式基盤モデルの多くが `p(y|x,D_context)` を目的としていたのに対し、LimiX‑2は `p(x,y|D_context)` を学習し、表全体を生成する共通メカニズムの表現を試みる。Context-Conditional Masked Modelingの事前学習データは構造的因果モデルによって生成され、さまざまな因果グラフ、関数関係、観測プロセスを網羅する。論文ではさらに、特徴量アテンションを用いて直接的な因果関係のスケルトンを復元できると主張している。ただし、アテンションが因果関係と整合することは、因果の方向が同定されたことや、介入意思決定を直接支援できることを意味しない。

著者らはTabArenaで1935 Eloを報告しており、2位のTabFM+を約117ポイント上回った。TALENTとBCCOの総合Eloは、それぞれ1506と1432だった。比較対象には基盤モデル、CatBoost、Random Forest、および異なる設定のAutoGluonが含まれる。しかし、結果は依然として同一チームによるデータ処理、ハイパーパラメータ、集計手法に基づいており、独立した再実行による検証はまだない。エンジニアリング面でも明確な要件がある。パッケージはPython 3.12を必要とし、PyTorch 2.9.1および互換性のあるFlashAttentionとの併用が推奨されている。Hugging Faceでは現在、ホスト型推論プロバイダーは提供されていない。

さらに重要なのがライセンスの詳細だ。コードには追加条項を含むカスタムライセンスが適用され、LimiX‑2の重みには非商用ライセンスが適用される。そのため、「公開ダウンロード可能」であることを、そのまま商用製品に組み込めることと解釈してはならない。今後注目すべき点は、第三者が時間ベースのデータ分割、企業の非公開表形式データ、分布シフトの状況でランキングを再現できるか、またモデルがうたう因果スケルトンの復元能力が、因果探索に特化した評価を通過できるかである。