iARCS、LLMに3Dシーン生成用の報酬プログラムを生成させ、物体衝突率を52.67%から40.45%へ低減

3Dシーン生成では、視覚的類似性を評価するためにFIDなどの分布指標がよく用いられる。しかし、ロボット訓練や空間設計においては、家具同士の衝突、物体の境界外へのはみ出し、通路への到達不能といった問題により、一見妥当に見えるデータでも実用性が失われる。[iARCS](https://arxiv.org/abs/2608.06161)は、こうした微分不可能な条件をdiffusion reinforcement learningとして再定式化する。第1段階では汎用的な幾何報酬によってベースとなるMiDiffusionを改善し、第2段階ではGeminiがユーザーの記述を測定可能な条件とPython報酬プログラムに分解する。

訓練時には、diffusionのノイズ除去ステップをMDPとして扱い、DDPOを通じてモデルを更新する。10 epochごとに報酬統計を読み取り、LLMに関数または重みを修正させる。これは、任意のテキストを直接受け取り、ゼロショットですべてのシーンを生成する単一モデルではない。論文では、タスク条件ごとに独立したLoRA policyを訓練する。2段階設計の目的は、衝突、境界、歩行可能性に関する共通の最低基準を先に確立し、特定タスク向けの報酬によって基本的な物理品質が損なわれるのを防ぐことにある。

3D-FRONTの屋内データでは、iARCSの物体衝突率は40.45%で、MiDiffusionの52.67%を下回った。衝突を含むシーンの割合は81.67%から64.63%へ、境界外率は5.89%から3.04%へ低下し、到達可能率は85.7%から87.82%へ上昇した。また、4,000件のシーンを生成してMiDiffusionを再ファインチューニングし、合成データによってベース生成器を改善できることを示した。[MIT-SPARKの3D-FRONTツール](https://github.com/MIT-SPARK/ThreedFront)は同じデータ形式と評価スクリプトを提供しており、外部で再現する際の出発点として利用できる。

一方、FIDはMiDiffusionの1.34から1.60へ悪化しており、幾何学的な実用性とデータ分布の類似性には依然としてトレードオフがあることを示している。さらに重要なのは、LLMが生成したプログラムでは曖昧な要件を取りこぼす可能性があり、RLの反復によって条件ごとの訓練コストも増える点だ。現時点では、公式のコードや重み、データセットをまたいだ検証は確認されていない。今後は、生成された報酬がモデルによるreward hackingを許さないか、また同じadapterが未知の制約の組み合わせにも汎化できるかを検証する必要がある。