返回首頁

AI 研究

MedChemBench 拆解藥物決策:讀懂分子後選藥仍難

官方總分達八成以上,但詳細分項屬於不同模型版本;研究團隊若要用 AI 安排實驗優先順序,更需要看候選物選擇與性質預測。

zh-Hant

想用 AI 協助決定下一個該測哪個分子,研究者需要分辨模型究竟會讀結構、解釋證據,還是真的能挑選候選物。OpenAI 於 11 月 20 日介紹 MedChemBench,用 99 道回溯研究題目拆查這些能力。官方報告 GPT‑6.2 Astra 在 xhigh 推理設定取得 84.5% 可得分數;這是評分規準下的得分比例,並非成功選出藥物的機率。官方介紹

把研究停在需要取捨的時刻

MedChemBench 取材自 117 篇論文與專利,提供歷史決策點以前的分子和實驗資料,將後續結果留作參考答案與評分依據。題目不只問化學知識,也要求模型在多項條件之間判斷哪些化合物值得推進。研究論文

例如官方展示的 PRMT5 抑制劑題目,涉及癌症藥物研究中的目標蛋白。後續實驗顯示,化合物 23 在較低濃度便能抑制細胞內的 PRMT5;化合物 24 卻更容易穿越細胞屏障,在肝酵素試驗中也分解得較慢。模型要預測這些性質,便不能只把抑制能力較強當成唯一優勢。題目說明

總分與選藥能力要分開看

11 月 9 日論文中的 GPT‑6 Astra,在 xhigh 設定下,分子結構得分為 95.37%、科學解釋為 91.05%,但排序與候選物選擇為 50.42%,數值預測為 47.02%。這些類別使用不同題目與規則,數字不能直接視為相同難度的正確率。分項結果

評分配置同樣重要:分子結構與科學理由平均合占約 73% 可得分數。本文的判讀是,高總分需要配合用途解讀;若目的是安排候選物的實驗優先順序,選擇與預測分項更直接相關。科學理由另由 GPT‑6 Astra 評審模型依規準評分,不能當成獨立化學家的驗證。評分方法

模型版本也必須分清:84.5% 屬於發布頁新增的 GPT‑6.2 Astra;上述詳細分項屬於 GPT‑6 Astra,不能直接套用到新版。發布頁

衡量歷史作答,尚未驗證實驗決策

這是 OpenAI 的自家評估,兩份來源並非獨立交叉驗證。測試採單輪作答,沒有工具、回饋或新實驗,也無法排除模型曾接觸公開來源。因此,結果尚未證明模型能發現新藥或改善實驗室決策。官方限制說明

歷史參考答案還有另一個邊界:論文承認,合理但不同的分子設計可能被低估。對導入 AI 的研究團隊,這套基準的價值在於分別檢查結構、理由與最終選擇;其中一項得分高,不能替其餘項目背書。論文討論

來源

  1. Can AI help scientists identify promising drug candidates?
  2. MedChemBench: Evaluating complex multimodal reasoning in medicinal chemistry