Prime Intellect、36万5,000件のエージェントタスクを統合し、評価と強化学習で共通の実行インターフェースを実現

Prime Intellectは、エージェント評価と強化学習にそのまま利用できる環境統合群を公開した。約19万8,000件のソフトウェアエンジニアリングタスク、2万8,600件のターミナル操作タスク、13万7,600件の検索タスクを網羅し、合計は36万5,000件を超える。重要なのはデータセットを新たに作ることではなく、それぞれ異なるイメージ、テスト手順、ログ形式、採点器を採用していた23種類のベンチマークを、共通のtasksetインターフェースに集約した点だ。

基盤となる `verifiers v1` は、環境を3層に分割する。tasksetはデータ、ツール、採点方法を定義し、harnessはCodexやその他のReActエージェント、CLIエージェントなど、エージェントの実行方法を決定する。runtimeはローカルプロセス、Docker、またはリモートサンドボックスを管理する。この分離により、研究者はタスクのライフサイクルを書き直すことなく、モデルやエージェントフレームワークを差し替えられる。生成されたtraceは、そのまま `prime-rl` の学習にも利用できる。公式の例では、6台のH200ノードを使用し、ScaleSWEによって2日間でGLM-4.5-Airを学習させている。

今回の統合では、エージェント型RLで一般的なreward hackingの問題にも対処している。エージェントと採点プログラムが同じコンテナ内にある場合、ポリシーが期待される回答を読み取ったり、テストを書き換えたり、採点状態を破壊したりする可能性がある。このため新版では、テストパッチ、期待される出力、採点スクリプトを評価段階まで注入しない仕組みを採用し、一部の上流データも再検証した。ただし公式は、これはあくまで緩和策にすぎず、構造的な解決には実行環境と採点環境を別々のサンドボックスに分離する必要があると認めている。

エンジニアリングチームは、データ品質の別の側面にも注意する必要がある。マージ済みPRから生成されたテストは、元の作者による実装の細部しか受け入れず、機能的には正しくても異なる方法で実装したエージェントに誤った負のスコアを与える可能性がある。36万5,000件という規模は接続作業のコストを下げる一方、テストのバイアス、ライセンスの差異、ベンチマーク汚染を自動的に解消するものではない。今後は、分離された採点とagentic judgingによって、こうしたノイズを学習シグナルから除去できるかが注目される。