代理系統與評測
RSIAgent、モデルの重みを凍結し、自律探索によって再利用可能な環境メモリを構築
RSIAgentでは、curriculum、actor、verifierの各エージェントがまずツールを幅広く探索し、その後、失敗の境界を詳しく検証して、結果を「アクション—条件—結果」のメモリとして保存する。OSWorld 2.0の部分スコアは71.97から78.98に上昇したが、この比較には異なる予算や選別後の再試行が混在しているため、モデル能力がGPT-6を上回ったと直接みなすことはできない。
Aether Labsは、基盤モデルの重みを更新せず、環境とのインタラクションを通じて経験を蓄積するマルチエージェントフレームワーク「RSIAgent」を公開した。システムはcurriculum、actor、verifierという3つの役割で構成される。curriculumエージェントが探索目標を生成し、actorがデスクトップやツールを実際に操作し、verifierが成果物を検証する。検証に合格した経験は「アクション—条件—結果」のルールとして整理され、凍結された後、実際のタスクで検索・参照される。
探索プロセスはbroadとdeepの2段階に分かれる。前者では、さまざまなアプリケーション、ワークフロー、エラーパターンを並列に試し、カバレッジを広げる。後者では、難しいケース、隠れた制約、境界条件を対象に反復的な実験を行う。例えばREAPERのオーディオタスクでは、エージェントが探索結果に基づいてリサンプリング設定を修正し、凍結済みメモリを初めて使用した評価で、部分スコアが68.00から94.17に向上した。コードには、OSWorld 2.0およびAgents’ Last Exam（ALE）のランナー、VM分離、メモリ、復元モジュールが含まれており、Docker、KVM、モデルAPIを備えた環境で再現できる。
論文では、OSWorld 2.0のオフラインタスク82件で78.98点を報告している。これは、同じフレームワークで再帰的自己改善を行わない場合の71.97点を上回る。タスクの完全成功率も37.80%から42.68%へ上昇した。ALEでの改善幅は小さく、部分スコアは83.75から84.82、完全成功率は49.25%から50.75%へ増加した。
ただし、これらの数値は慎重に解釈する必要がある。OSWorldの集計では、RSIの記録が適用されたのは41タスクのみで、残りにはベースラインの結果が引き続き使用されている。ALEでも置き換えられたのは19タスクだけであり、選別後の再試行、異なる予算、ローカルでの再評価、プロトコルのバリエーションが含まれている。したがって、すべてのタスクを同一コストで再テストした比較ではない。エンジニアリング上、本当に追跡すべきなのはランキング順位だけではなく、探索コスト、verifierによる誤判定、そして誤ったルールが長期メモリに書き込まれた後に、それをどのように取り消すかという点だ。