ホームへ戻る

AI 研究

MedChemBenchが創薬判断を解きほぐす:分子を読み解けても候補選びは難しい

公式総合スコアは8割超。ただし、詳細な内訳は別バージョンのモデルによるものだ。AIで実験の優先順位を決めるなら、候補選択と性質予測の評価がより重要になる。

zh-Hant

AIを使って次にどの分子を試験すべきか決めるには、モデルが構造を読み取れるのか、根拠を説明できるのか、それとも本当に候補物質を選べるのかを見極める必要がある。OpenAIは11月20日、こうした能力を調べるMedChemBenchを発表した。過去の研究に基づく99問で評価する。公式報告によると、GPT‑6.2 Astraはxhigh推論設定で、獲得可能な得点の84.5%を獲得した。これは採点基準に基づく得点の割合であり、薬の選定に成功する確率ではない。公式発表

研究を選択が必要な段階で止める

MedChemBenchは117本の論文と特許をもとに、過去の意思決定時点までの分子と実験データを提示し、その後に得られた結果を正解例と採点基準として使う。問題は化学知識を問うだけでなく、複数の条件を踏まえて、どの化合物を次の段階に進める価値があるか判断するようモデルに求める。研究論文

公式が紹介したPRMT5阻害剤の問題は、がん治療薬の研究で標的となるタンパク質を扱う。後続の実験では、化合物23はより低い濃度で細胞内のPRMT5を阻害できた。一方、化合物24は細胞膜を通過しやすく、肝酵素試験でも分解が遅かった。モデルがこうした性質を予測するには、阻害能力の高さだけを唯一の利点とみなすわけにはいかない。問題の説明

総合スコアと候補選択能力は分けて見る

11月9日付の論文に掲載されたGPT‑6 Astraの成績は、xhigh設定で分子構造が95.37%、科学的説明が91.05%だった。一方、順位付けと候補選択は50.42%、数値予測は47.02%だった。各カテゴリでは異なる問題と採点基準が使われているため、これらの数値を同じ難易度の正答率として直接比較することはできない。カテゴリ別の結果

採点の配分も重要だ。分子構造と科学的根拠は、獲得可能な得点の平均で約73%を占める。本記事の見立てでは、高い総合スコアは用途に照らして解釈する必要がある。候補物質の実験優先順位を決めることが目的なら、選択と予測のカテゴリのほうが直接的に関係する。科学的根拠はGPT‑6 Astraの評価モデルが基準に沿って採点しており、独立した化学者による検証とみなすことはできない。採点方法

モデルのバージョンも区別しなければならない。84.5%という数値は発表ページで新たに報告されたGPT‑6.2 Astraの成績だ。上記の詳細な内訳はGPT‑6 Astraのものであり、新バージョンにもそのまま当てはめることはできない。発表ページ

過去の問題への回答を測る評価であり、実験判断の検証ではない

これはOpenAIによる自社評価であり、2つの情報源は独立した相互検証ではない。テストは単一ターンの回答形式で、ツールやフィードバック、新たな実験は使わず、モデルが公開情報に以前触れていた可能性も排除できない。そのため、この結果はモデルが新薬を発見したり、研究室での意思決定を改善したりできることをまだ証明していない。公式の制約説明

過去の研究を正解例とすることにも限界がある。論文は、妥当であっても異なる分子設計が低く評価される可能性を認めている。AIを導入する研究チームにとって、このベンチマークの価値は、構造、根拠、最終的な選択をそれぞれ確認できる点にある。ある項目での高得点が、ほかの項目まで裏付けるわけではない。論文の考察

出典

  1. Can AI help scientists identify promising drug candidates?
  2. MedChemBench: Evaluating complex multimodal reasoning in medicinal chemistry