Task-CoEvolve、検証タスクを20%だけ抽出し、harness探索のtokenコストを67～80%削減

エージェントのharnessを自動最適化する際、外側のモデルはメモリ、検索、プロンプトのフローを繰り返し書き換え、検証タスクを実行して候補バージョンを残すかどうかを判断する。問題は、長い手順を伴うサンドボックスタスクでは、1件につき数十分かかる場合があることだ。各ラウンドで検証セット全体を実行すると、評価コストはすぐに新しいコード自体の生成コストを上回ってしまう。

[Task-CoEvolve](https://arxiv.org/abs/2608.20169)は固定された小規模なサブセットを使用するのではなく、各タスクの過去の成功率におけるBernoulli varianceに基づいてサンプリング重みを割り当てる。候補harnessが成功したり失敗したりするタスクには、より高い重みが与えられる。一方、観測回数が少ないタスクや、まだ解決されていないタスクについては、探索項と重みの下限を設けることで、永久に選ばれなくなるのを防ぐ。各ラウンドで抽出されるタスクの難易度が異なるため、システムはタスクの包含確率に基づき、Hájek推定量またはアンカー付き差分推定量を使用して、部分的な結果を共通の検証セット全体の尺度へ換算する。

Terminal-Bench 2.1の89タスクでは、各ラウンドで約20%だけを評価した場合、GPT-5.6-LunaとQwen3.6-35B-A3Bの平均pass rateは51.7%に達し、全量のMeta-Harnessでは52.8%だった。前者が実行したタスクは約180回、後者は890回だった。2つのモデルでは入力tokenコストがそれぞれ80%と67%削減され、総探索時間も22.2時間から11.5時間、38.0時間から20.5時間へ短縮された。テキスト分類実験では、20%の割り当てにおける平均テストaccuracyは49.3%で、全量探索の48.6%をわずかに上回った。

ただし、これらの数値は慎重に解釈する必要がある。Terminal-Benchでは探索と最終評価に同一のタスク群が使われ、rolloutは1回のみで、約1ポイントの差もタスク1問分にすぎない。また、情報量の多いタスクは通常、実行時間も長いため、タスク数を5分の1に減らしても所要時間が同じ割合で短縮されるわけではない。[GitHubプロジェクトページ](https://github.com/Agent4Science-UTokyo/Task-CoEvolve)には現在、説明と図表しかなく、READMEでもコードは「近日公開」とされている。独立した再現には、実際の実装と設定ファイルが公開されるのを待つ必要がある。