NVIDIA AVO、ARC-AGI-3公開セット全183レベルをクリア、アクション数はVISTA比で約12%減

NVIDIAによると、同社のAgentic Variation Operators（AVO）システムは、ARC-AGI-3の25の公開環境に含まれる全183レベルをクリアし、環境内でのアクション6,624回で100.00 RHAEを達成した。ARC-AGI-3では、ゲームのルールや操作方法、明示的な目標は提示されない。エージェントは試行を通じて状態の変化を観察し、そこで得た知見を後続のレベルに活用しなければならない。RHAEは達成度に加え、人間のベースラインに対する相対的なアクション効率も考慮するため、「100%」は単なる最終的なクリア率を意味するものではない。

AVOは当初、GPUカーネルを自動的に進化させるために設計された。その研究版では、言語モデルを一度限りの候補プログラム生成器として扱うのではなく、エージェントが既存バージョンの系譜、ドメイン知識、実行時のフィードバックを参照しながら、修正案の提示、修復、批評、検証を反復できるようにしている。今回NVIDIAは、同じ長期的なプロセス設計を未知の対話型環境へ適用し、バックエンドにClaude Opus 5を使用した。公式には、同じくOpus 5を使用するVISTAを比較対象としている。VISTAが公開セットのクリアに7,542回のアクションを要したのに対し、AVOは約12%少なかった。この差は、重要なエンジニアリング上の判断を裏付けている。すなわち、ランキングが測定しているのは、モデル、観測表現、メモリ、コンテキスト管理、制御ループから成る複合システムであり、基盤モデル単体の能力ではないということだ。

ただし、これはARC-AGI-3が解決されたと宣言するのに十分な統制実験ではない。NVIDIAも明記しているように、AVOとVISTAではエージェントのバックエンド、メモリ、表現方式が異なるため、アクション数の削減を特定のモジュールだけに帰属させることはできない。また、テスト対象は公開済みの25環境に限られており、エージェントアーキテクチャを長期にわたって調整する過程で、公開セット固有の特徴を取り込んだ可能性もある。AVOの原論文と今回のブログ記事のいずれも、6,624回のアクションという結果を完全に再現できる公開実行パッケージを提供していない。今後、研究者が注目すべきなのは、非公開環境での成績、モデルと予算を固定した条件でのアブレーション、総token数とウォールクロック時間に基づくコスト、そしてメモリが同一ゲーム内での探索の重複を避けるだけでなく、実際に環境間で転移するかどうかである。