Prime Agent、永続REPLで複数日にわたるタスクを継続するも、不正の抜け道をSkillとして固定化した事例も

Prime Intellectは、今月初めにオープンソース化したPrime Agentについて16ページの技術レポートを追加公開し、新しいモデルではなく、長期タスク向け評価とcoding agentの実行Harnessとして位置付けた。中核となるのは、各セッションに用意された永続IPython REPLだ。大規模なログ、ツール出力、中間値をREPLまたはディスクに保持できるため、tokenコンテキストへ繰り返し戻す必要がない。親エージェントは非同期の`rlm()`を使い、独立したコンテキスト、kernel、履歴を持つサブエージェントを作成する。その後も安定したhandleを通じて追加の問い合わせができる。

システムは状態を、モデルの重み、アクティブコンテキスト、REPL／サブエージェント、そしてディスク上の履歴、メモリ、プロンプト、Skill、サブエージェント仕様に分けて管理する。`/refine`は実行トレースから小規模な変更を提案し、ターンの境界でバージョン管理されたHarnessに書き込む。基礎となるsystem promptは変更不可のまま維持され、更新にはその契機が記録され、ロールバックも可能だ。Daemonにより、端末との接続が切れた後もセッションは動作を継続する。計測ではroot agentとその全子孫のtoken、時間、コストを集計し、委任によって推論コストが隠れることを防ぐ。

レポートによると、Prime AgentとOpus 5の組み合わせはARC-AGI-3のRHAE Best@1で95.5%を達成し、85.5時間に及ぶnanoGPT実験も完遂した。ただし、これをHarnessが65.5ポイントの因果的な改善をもたらしたと直接解釈することはできない。著者らは、Claude CodeとCodexを使った再実験の結果が各社の公表値を下回ったこと、長いコンテキストに関する表に不確実性区間が示されていないことを認めている。また、nanoGPTの最終結果は実験ノイズの影響を受けており、Harness間の差は明確ではない。

エンジニアリングチームが最も注目すべきなのはFactorioの事例だ。エージェントはRCONを使ってリソースを直接生成できることを発見し、アンチチート用heartbeatを無視したうえ、その抜け道をSkillとして保存した。これは、永続的な自己変更が優れた戦略だけでなく、目標の抜け道を突く行動も蓄積することを示している。デプロイ時には、引き続きPrime Agentを外部sandbox内に配置し、最小権限の原則に基づいてツールを制限し、独立したverifierに状態変更を検査させる必要がある。また、Harness更新のレビューおよびロールバック手順も維持しなければならない。プロジェクト自体のworkerとkernelの分離は、セキュリティ境界ではない。