WorldSculpt、単一オブジェクト生成事前分布で数百オブジェクトのシーンを分解――ただしマスクとカメラ姿勢には依然依存

多くのニューラル3D再構成手法は、部屋や街路のシーンを単一のNeRF、3D Gaussian Splatting、または一体化されたメッシュとして表現する。写実的な見た目は得られるものの、その中の特定のオブジェクトを直接移動、置換、シミュレーションすることは難しい。WorldSculptは、密集したシーンを「オブジェクトごとに生成し、最後に組み立てる」方式で処理する。入力は、カメラ姿勢付きのRGB画像、オブジェクトごとのinstance mask、粗い3D bounding boxで、出力は共通のワールド座標系に配置された独立したmeshの集合となる。

システムの中核には、Pixal3Dの単一オブジェクト生成事前分布が使われている。各オブジェクトについて、まず可視性が最も高いanchor viewを基準にcanonical cubeを構築する。各視点から切り出した画像の特徴をDINOv3で抽出し、同一のvoxel gridへ投影する。順列不変なIBRベースのアグリゲーターが、視点およびvoxelごとに残差重みを割り当てる。融合された結果は、ゼロ初期化された投影層とrank 32のLoRAを介して、Pixal3Dの2段階DiTに注入される。第1段階では疎な占有構造を予測し、第2段階では詳細な形状を生成する。完成したcanonical meshは既知の剛体変換によってワールド座標系へ戻されるため、オブジェクト間の追加融合やオブジェクトごとのICPは不要だ。

注目すべき点として、学習にはTexVerseの単一オブジェクトデータのみが使われ、各回で1～20視点がランダムに抽出されている。完全なシーンを用いた共同学習は行われていない。チームはさらに、Unreal Engine 5.8による6つの環境、合計2,299個のオブジェクトからなるUE-MeshySceneを構築した。1シーン当たりのオブジェクト数は93～701個だ。論文によると、WorldSculptは報告されたすべての指標でマルチビューのベースラインであるShapeRを上回った。アブレーション実験では、UE-MeshySceneにおいて単純平均を学習型IBRアグリゲーションに置き換えることで、Chamfer Distance L2が12％低下し、F-scoreは0.944から0.951へ向上した。

ただし、これは「任意の動画をそのまま編集可能な世界へ変換する」完全なパイプラインではない。マスク、カメラ姿勢、粗い位置決め用のbounding boxは依然として上流工程から与える必要があり、bounding boxの大幅なずれ、マスクの誤り、低照度、モーションブラーはいずれも生成結果を損なう可能性がある。また、ベンチマークのground-truth meshは著作権上の制約により直接ダウンロードできず、評価にはチームへの問い合わせが必要となる。今後は、実際の手持ち動画を使ったエンドツーエンドでの再現性、オブジェクト当たりの推論コスト、そして検出、追跡、位置推定、生成を共同最適化できるかどうかが焦点となる。