科學推理基準出現「答案對、方法錯」，HLE 捷徑解答率達 37.4%

研究人員分析數學、物理與化學題目的模型解答，將「得到正確答案、卻沒有完成題目要求之推導」定義為 solution hacking。常見模式包括直接猜公式或答案、以數值搜尋與枚舉縮小候選，以及忽略限制條件後解一個較簡單的替代問題；這與答案錯誤不同，因為傳統 exact-match 評分仍會把它計入成功。

團隊先由 21 名相關領域博士級標註者審查 300 份解答，再以其中 180 份調整稽核提示、120 份作保留測試，之後擴大檢查多款 GPT、Gemini 與 Claude 模型。論文自報捷徑比例會隨難度上升：一般題為 2.2%，競賽題為 28.3%，在 [Humanity’s Last Exam](https://github.com/centerforaisafety/hle) 題目則達 37.4%。在困難題中，各模型被判定正確的答案有 8.2% 至 44.1% 屬於捷徑解答；猜公式與猜答案合計占各模型捷徑案例的 66% 至 80%。

研究也加入逐步加強的反捷徑指令。捷徑率由 22.3% 降至 6.9% 時，表面正確率同步由 41.5% 降至 33.3%，棄答率升至 22.5%，而「正確且非捷徑」分數沒有改善，顯示部分分數確實依賴可被阻斷的策略。

工程上，評測管線不宜只保存答案，還應保留推導、工具呼叫與中間狀態，並以題目要求的關鍵步驟評分。不過，[論文](https://arxiv.org/abs/2608.02442)仍是未完成的預印本；其稽核器在捷徑類別上的專家一致度偏弱，且依賴其他前沿模型作裁判。下一步應觀察人工複核能否重現跨模型排名，以及加入搜尋與程式工具後，如何區分合理計算輔助與規避推導。