DiG-bench、隠されたゲームルールで能動的発見能力を測定：Opus 5は70問中50問を解決、汎用エージェントフレームワークによる向上は見られず

DiG-benchは、「発見」を知識ベースの質疑応答から切り離し、制御可能なインタラクティブ実験として構成している。各ゲームは短いUnicode文字列で表現される部分観測可能な環境であり、ルール、目標、状態遷移はいずれも非公開だ。エージェントは各ターンに合法手を1つだけ選択できる。一部のゲームでは、正式な手数に算入されないcreative modeも提供され、システムはそこで実験を設計して仮説を排除した後、本筋の問題解決に戻ることができる。人手で設計された70種類のゲームは7段階の難易度に分かれ、開発用に21種類が公開され、データ汚染を防ぐ評価用として49種類が非公開で保持されている。

基本harnessによる完全なテストでは、Opus 5が70問中50問、Gemini 3.1 Proが18問、Qwen3.6-27Bはわずか1問を解いた。問題ごとに最良のモデルを選んでも合計57問にとどまり、最高難度の2段階では20問中9問だった。ボトルネックをより明確に特定したのが対照実験だ。簡潔なルールを直接与えると、Geminiの成績は70問中18問から69問へ上昇した。これは、主な失敗要因が既知のルール下でのプランニングではなく、まさにルールの発見にあることを示している。Claude Code、Codex、Kimi Code、PRO-LONG、Prime Agentなどの汎用エージェントラッパーも、高難度の問題で一貫した向上を示さなかった。ツールが増えたからといって、次に行う実験の情報量が高くなるとは限らない。

科学エージェントや自動R&Dシステムへの示唆は明快だ。harnessは、単にコンテキストを長くしたりshellツールを追加したりするだけでなく、競合する仮説、予想される観測結果、反例を記録し、情報利得に基づいて行動を選択すべきである。ただし、大半の「モデル×ゲーム」の組み合わせは1回しか実行されておらず、モデル間でコスト上限、コンテキスト長、提供形態も完全には統一されていない。人間のサンプルも、問題が解決可能であることの確認にのみ使われている。エンジニアリングチームが次に注目すべきなのは、公開APIを使った再実行の結果、seed間のばらつき、そして実験設計専用に構築されたメモリとプランナーが高難度の非公開問題を本当に突破できるかどうかだ。