RoboLayout: 身体性エージェントのための微分可能な3Dシーン生成
RoboLayout: Differentiable 3D Scene Generation for Embodied Agents
本論文は、言語指示から3Dシーン配置を生成する際に、エージェントの到達可能性を考慮した微分可能な最適化を導入し、移動・操作可能なレイアウトを生成するRoboLayoutを提案する。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
分類: cs.AI, cs.CV, cs.LG, cs.RO
原文アブストラクト
Recent advances in vision language models (VLMs) have shown strong potential for spatial reasoning and 3D scene layout generation from open-ended language instructions. However, generating layouts that are not only semantically coherent but also feasible for interaction by embodied agents remains challenging, particularly in physically constrained indoor environments. In this paper, RoboLayout is introduced as an extension of LayoutVLM that augments the original framework with agent-aware reasoning and improved optimization stability. RoboLayout integrates explicit reachability constraints into a differentiable layout optimization process, enabling the generation of layouts that are navigable and actionable by embodied agents. Importantly, the agent abstraction is not limited to a specific robot platform and can represent diverse entities with distinct physical capabilities, such as service robots, warehouse robots, humans of different age groups, or animals, allowing environment design to be tailored to the intended agent. In addition, a local refinement stage is proposed that selectively reoptimizes problematic object placements while keeping the remainder of the scene fixed, improving convergence efficiency without increasing global optimization iterations. Overall, RoboLayout preserves the strong semantic alignment and physical plausibility of LayoutVLM while enhancing applicability to agent-centric indoor scene generation, as demonstrated by experimental results across diverse scene configurations.
関連論文
- SceneBloom: 実用的で多様なレイアウトを持つ屋内環境をエージェント的に生成する身体性学習向けフレームワークシーン生成
- シーンリターゲティング:類推的転移による物体配置の学習シーン生成
- 配置と可動性を超えて:身体化インタラクションのための使用駆動型コードシーンシーン生成
- HomeWorld: フロアプランから家具付きまでを統合した、制御可能で高密度にインタラクティブな住宅全体シーン生成フレームワークシーン生成
- PhysOmni: 単一画像からの物理基盤マルチオブジェクトシーン生成とリアルタイムインタラクションシーン生成
- HetScene: 不均一性を考慮した拡散モデルによる高密度屋内シーン生成シーン生成
