22の最先端モデルを対象とした分子ベンチマーク監査：推論強度を高めるほど、発表済みの数値を想起しやすい

分子特性ベンチマークでは、平均絶対誤差などの指標を用いてモデルを評価することが多い。しかし、誤差が小さいだけでは、モデルが分子構造から答えを導き出したのか、それとも論文やデータベースにある既存の数値を記憶していたのかを区別できない。新たな研究では、12種類の分子回帰データセットを用いて22の最先端言語モデルを監査し、その出力が発表済みのラベルを数字の桁レベルで再現しているかどうかを調べた。その結果、汚染は一様に分布していないことが分かった。5つのデータセットでは、テスト対象モデルの半数超に値を逐一検索した兆候が見られた一方、残りのデータセットでは散発的な一致しか確認されなかった。

研究チームは、同じ分子とプロンプトを使い、推論強度だけを変えて実験を再度実施した。最高の推論設定で検索と判定された回数は、最低設定より89％多かった。これは、推論プロセスを長くすると計算能力が向上する可能性があるだけでなく、訓練時に見た数値をモデルが想起しやすくなる可能性も示している。研究者らはさらに、SMILES表記を書き換えて直接検索を妨げた。一部の最も高性能なモデルは、それでも変換後の分子文字列と元のラベルの組み合わせを認識できた。検索を抑制すると、各モデルの相対予測誤差はむしろ互いに近づいた。この結果は、ランキング上の差の一部が分子に対する汎化能力ではなく、記憶量に由来する可能性を示している。

これは、創薬や材料モデルの評価に直接的な影響を及ぼす。エンジニアリングチームは、単にプロンプトを変更したり分子名を隠したりするだけでは不十分だ。訓練データのカットオフ日より後に公表された新しい測定値、非公開ラベル、そして構造的には等価だがテキスト表現が異なる反実仮想テストを使用すべきである。また、スコアを報告する際には、推論強度も固定する必要がある。論文は現時点ではプレプリントであり、正確な一致のすべてが訓練データに由来することを証明したものではない。また、プロプライエタリモデルの訓練コーパス全体も対象としていない。したがって、「検索の兆候」をデータ漏洩と直接同一視することはできない。次の焦点は、この監査手法をブラインドテスト用データと、訓練条件を制御できるモデルで再現できるかどうかである。