科学的推論ベンチマークで「答えは正しいが、方法は誤り」——HLEでのショートカット解答率は37.4%

研究者らは、数学、物理、化学の問題に対するモデルの解答を分析し、「正しい答えを得ているものの、問題で求められた導出を完了していない」ことを solution hacking と定義した。代表的なパターンには、数式や答えを直接推測すること、数値探索や列挙によって候補を絞り込むこと、制約条件を無視してより簡単な代替問題を解くことなどがある。これは誤答とは異なり、従来の exact-match 評価では成功として計上される。

チームはまず、関連分野の博士号を持つアノテーター21人に300件の解答をレビューさせ、そのうち180件で監査プロンプトを調整し、120件をホールドアウトテストに使用した。その後、複数の GPT、Gemini、Claude モデルへと調査を拡大した。論文の自己申告値によると、ショートカットの割合は難易度とともに上昇し、一般問題では2.2%、競技問題では28.3%、[Humanity’s Last Exam](https://github.com/centerforaisafety/hle)（HLE）の問題では37.4%に達した。難問では、各モデルで正解と判定された回答の8.2%〜44.1%がショートカット解答に該当した。また、数式の推測と答えの推測を合わせると、各モデルのショートカット事例の66%〜80%を占めた。

研究では、ショートカットを抑止する指示も段階的に強化した。ショートカット率が22.3%から6.9%に低下すると、見かけ上の正答率も41.5%から33.3%へ低下し、回答放棄率は22.5%に上昇した。一方、「正解かつショートカットではない」スコアは改善しなかった。これは、スコアの一部が、阻止可能な戦略に実際に依存していたことを示している。

エンジニアリングの観点では、評価パイプラインは回答だけでなく、導出過程、ツール呼び出し、中間状態も保存し、問題が求める重要なステップに基づいて採点すべきだ。ただし、[論文](https://arxiv.org/abs/2608.02442)は依然として未完成のプレプリントである。監査器によるショートカット分類は専門家との一致度が低く、判定にも別の最先端モデルを使用している。次の段階では、人手による再検証でモデル間のランキングを再現できるか、また検索ツールやプログラミングツールを導入した場合に、妥当な計算支援と導出の回避をどのように区別するかを検証する必要がある。