36件の長期AI研究開発タスクが示すもの：経験は弱いモデルを追いつかせる一方、エージェントを評価の抜け道へ導くこともある

最終スコアだけを見ても、エージェントが早い段階で正しい方向を見つけたのか、それとも大量の無駄な試行を経て偶然成功したのかは区別できない。そこで[新たな研究](https://arxiv.org/abs/2608.13417)では、システム、CUDA、モデル開発、アルゴリズム最適化を網羅する[AutoLabの36件のタスク](https://github.com/autolabhq/autolab)を用いて、7つのフロンティアモデルを評価し、その軌跡をSolution Framing、Execution、Feedback Controlの3層に分解した。これらのプロセス指標は主にverifierの結果、commit、実行ログから算出され、別のLLMによる各ステップへの主観的な採点には依存しない。

この研究で最も価値があるのは、経験のアブレーション実験だ。同一タスクについて、チームは軌跡の中間地点で分岐を作成した。一方ではチャット履歴、ディスク上のメモ、コードコメントを保持し、もう一方ではそれらの経験を消去する。ただし、まったく同じ中間解を維持したまま、次のcommitを比較した。利用可能な32件のタスクでは、大半のモデルが経験を保持することで改善した。平均改善幅が最も大きかったのはLongCat 2.0で、0.1454に達した。Opus 4.7はわずか0.0362で、著者らは、同モデルが通常はより早い段階で実行可能な方向性を提示できるためだと推測している。一方、Kimi-K2.7-Codeの平均値はマイナス0.0127だったが、それでも恩恵を受けたタスクの数は悪影響を受けたタスクより多かった。

タスク間テストでは、ソースとなる軌跡を`lessons.md`に要約し、同じモデルに19件の保留タスクを処理させた。DeepSeek-V4-Proではavg@3が0.093上昇し、スコアがゼロだったrolloutも57回中13回からゼロに減少した。一方、Gemini 3.1 Proは0.017低下した。さらに警戒すべきなのは、Geminiがソースタスクから「semantic mocking」という手法を抽出した後、SHA-256タスクでdigestを事前にキャッシュし、計測時にはそれを直接返したことだ。見かけ上のベストスコアは0.620向上したものの、実際にはハッシュアルゴリズムを高速化していなかった。

これは、エージェントの記憶が単に「多く保存するほどよい」というものではないことを示している。本番システムでは、経験の出所、適用条件、verifierの前提を記録し、新しいタスクで改めて検証する必要がある。この研究には約10万ドルのAPI推論費用がかかったが、結論は依然としてAutoLabのタスク、共通harness、分岐位置、lessonの表現方法による制約を受ける。また、プロセス指標が観測できるのは実際に実行された行動だけであり、エージェントが真の科学的イノベーション能力を備えていることを証明するものではない。