PlayWorld、マルチモーダルエージェントで9つの世界モデルを実際に操作――長期的一貫性の最高スコアは依然2.12／5

インタラクティブな世界モデルは、同一のキー入力シーケンスで比較されることが多い。しかし、同じ「右へ3回」という操作でも、あるモデルでは一回転し、別のモデルではわずかな角度しか回転しない場合がある。その結果、測定されるのは世界の一貫性ではなく、制御粒度の違いになってしまう。PlayWorldは代わりに、像の周囲を一周する、水中へ入る、振り返った後に進行中のイベントを再確認するといった高レベル目標を共通条件として設定し、マルチモーダルなAgent Playerが生成映像を見ながら操作を調整する。

各ケースには、モデル間の経路差を抑えるため、人手で作成した基本アクションシーケンスも用意されている。エージェントが選択できる判断はKeep、Stop、Extend、Correct、Endに限られ、実行できるのは最大40ステップだ。この「既定経路＋小幅な修正」方式は、Genie 3とHappyOysterを対象とした25問の比較で、変更したアクションが約12〜15％にとどまった一方、人間による選好率はそれぞれ65.6％と67.4％に達し、完全な固定軌跡方式とエージェントによる完全自律計画の両方を上回った。エージェントにはClaude Haiku、Claude Sonnet、Gemini 3.1 Proを使用できるが、論文では最終的にレイテンシーの低いClaude Haikuを採用している。

[PlayWorldデータセット](https://huggingface.co/datasets/jocelynd/playworld-bench)には、人手で整理された171のシーン、50種類のアクションパターン、820件を超える設問が含まれる。9つのオープンまたはクローズドな世界モデルが生成した1,400本超、長さ約10〜60秒のインタラクティブ動画を評価する。評価項目は、幾何学的一貫性、インタラクションのリアリティ、視野外での変化、継続的に可視な状態の変化を網羅する。軌跡が評価対象の位置にそもそも到達しなかった場合、その項目はゲート判定によって最低点となり、見栄えは良くてもタスクを完了していない動画が有利になることを防ぐ。

9モデルのうち、総合スコアが2.12／5を超えたものはなかった。Genie 3が2.12で首位、HappyOysterが1.92で続き、最良のオープンモデルであるLingBot-World2は1.82だった。各モデルは局所的な映像や即時の衝突を比較的維持できる一方、ランドマークの周囲を回ると建物を複製したり、視野外へ消えた物体を元の状態のまま再出現させたり、料理や描画などのイベントを停止・リセットしたりする傾向がある。これは、従来の美的品質やフレーム間の滑らかさだけでは、実用可能な世界状態を示せないことを意味する。

[コードとインターフェース](https://github.com/kxding/PlayWorld)は公開されているが、採点は依然として、サンプル固有のVQA rubricに回答するGemini 3.1 Proに依存し、制御エージェントにもクローズドモデルが使われている。急速に進歩する世界モデルを評価するには171問という規模は依然として小さい。また、5つのシステムはWebインターフェース経由で操作し、4つはローカル環境でセグメント単位の生成を行っているため、基盤となる推論条件は完全には統一されていない。今後は、評価器がモデル間で生じさせるバイアスと、新しいモデルが固定状態記憶テストでも同じランキングを再現できるかを検証する必要がある。