PhyScene: 身体性AIのための物理的に操作可能な3Dシーン合成
PhyScene: Physically Interactable 3D Scene Synthesis for Embodied AI
拡散モデルと物理・操作可能性に基づくガイダンスを組み合わせ、身体性エージェントが実際に操作できる3D屋内シーンを生成する手法を提案。
著者: Yandan Yang, Baoxiong Jia, Peiyuan Zhi, Siyuan Huang
分類: cs.CV, cs.AI, cs.LG, cs.RO
原文アブストラクト
With recent developments in Embodied Artificial Intelligence (EAI) research, there has been a growing demand for high-quality, large-scale interactive scene generation. While prior methods in scene synthesis have prioritized the naturalness and realism of the generated scenes, the physical plausibility and interactivity of scenes have been largely left unexplored. To address this disparity, we introduce PhyScene, a novel method dedicated to generating interactive 3D scenes characterized by realistic layouts, articulated objects, and rich physical interactivity tailored for embodied agents. Based on a conditional diffusion model for capturing scene layouts, we devise novel physics- and interactivity-based guidance mechanisms that integrate constraints from object collision, room layout, and object reachability. Through extensive experiments, we demonstrate that PhyScene effectively leverages these guidance functions for physically interactable scene synthesis, outperforming existing state-of-the-art scene synthesis methods by a large margin. Our findings suggest that the scenes generated by PhyScene hold considerable potential for facilitating diverse skill acquisition among agents within interactive environments, thereby catalyzing further advancements in embodied AI research. Project website: http://physcene.github.io.
関連論文
- SceneBloom: 実用的で多様なレイアウトを持つ屋内環境をエージェント的に生成する身体性学習向けフレームワークシーン生成
- シーンリターゲティング:類推的転移による物体配置の学習シーン生成
- 配置と可動性を超えて:身体化インタラクションのための使用駆動型コードシーンシーン生成
- HomeWorld: フロアプランから家具付きまでを統合した、制御可能で高密度にインタラクティブな住宅全体シーン生成フレームワークシーン生成
- PhysOmni: 単一画像からの物理基盤マルチオブジェクトシーン生成とリアルタイムインタラクションシーン生成
- HetScene: 不均一性を考慮した拡散モデルによる高密度屋内シーン生成シーン生成
