Monroe、8,100万分子でグラフモデルを事前学習し、凍結ベクトルとTabPFNの組み合わせでタスク別ファインチューニングを上回る

新たに公開された分子基盤モデル[Monroe](https://arxiv.org/abs/2608.18982)は、薬物特性タスクごとにエンコーダーをファインチューニングするのではなく、まず分子を固定長の720次元ベクトルに変換し、ラベル付きの訓練ベクトルと予測対象の分子をまとめてTabPFNv3に入力する。TabPFNは1回のフォワードパスで事後予測分布を近似するため、タスクごとの勾配更新やハイパーパラメータ探索が不要になる。これは、ラベルの取得に高価なウェットラボ実験が必要で、一般にサンプル数が少ないADMET予測や活性予測で特に実用的だ。

エンコーダーはGRIT Graph Transformerをバックボーンとし、観測済みのエッジ上でのみ疎な注意を計算することで、計算量を全結合の場合のO(|V|²)からO(|E|)へ削減している。さらに、グローバルな情報交換のために仮想ノードを追加した。回転および鏡映に不変な特徴量だけを使用すると、エナンチオマーに同一の入力が与えられてしまうため、研究チームは方向付きのR/SおよびE/Z補助エッジも導入した。訓練データには、約8,100万個のPM6分子に関する量子化学的特性と、156万個のPCBA分子に関するバイオアッセイラベルが含まれ、特性予測、分類、コンフォメーション・デノイジングからなる計1,152個の学習目標を構成している。完全な事前学習には4基のH100で26時間を要した。

Polarisの28タスクでは、Monroeはすべてのタスクで平均値が最高となるか、最高の手法と統計的に区別できない成績を収め、平均順位は3.71だった。MoleculeACEの30件のactivity cliffタスクでは統計的勝率が86.7%で、全体およびactivity cliffサブセットのRMSEはそれぞれ0.629と0.737だった。研究ではTukey HSDを使用し、Benjamini–Hochberg法で多重比較を制御したほか、InChIKeyに基づいて下流のテストセットと重複する事前学習分子を除外している。[コードと重み](https://github.com/blazejba/monroe)は公開されているが、checkpointが出力するのは分子フィンガープリントのみであり、タスク予測を得るにはユーザー自身がTabPFNを設定する必要がある。

ただし、これらの結果をもって創薬の問題が解決されたと解釈することはできない。Polarisの一部データには、塩の処理、誤った構造、立体化学上の曖昧さといった問題があり、activity cliffに対する誤差も通常サンプルより依然として明らかに大きい。今後注目すべき点は、独立した研究チームが4基のH100を用いた訓練を再現できるか、真の時系列分割や新規ケミカルスキャフォールドでも優位性を維持できるか、そしてラベル付きサポートセットの拡大に伴ってTabPFNの推論コストがどのように増加するかである。