HOG-Layout: 視覚言語モデルによる階層的3Dシーン生成・最適化・編集
HOG-Layout: Hierarchical 3D Scene Generation, Optimization and Editing via Vision-Language Models
大規模言語モデルと視覚言語モデルを用いて、テキストから階層的に3Dシーンを生成・最適化・編集する手法を提案した。物理的整合性と意味的一貫性を向上させ、リアルタイム編集を実現する。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Haiyan Jiang, Deyu Zhang, Dongdong Weng, Weitao Song, Henry Been-Lirn Duh
分類: cs.CV
原文アブストラクト
3D layout generation and editing play a crucial role in Embodied AI and immersive VR interaction. However, manual creation requires tedious labor, while data-driven generation often lacks diversity. The emergence of large models introduces new possibilities for 3D scene synthesis. We present HOG-Layout that enables text-driven hierarchical scene generation, optimization and real-time scene editing with large language models (LLMs) and vision-language models (VLMs). HOG-Layout improves scene semantic consistency and plausibility through retrieval-augmented generation (RAG) technology, incorporates an optimization module to enhance physical consistency, and adopts a hierarchical representation to enhance inference and optimization, achieving real-time editing. Experimental results demonstrate that HOG-Layout produces more reasonable environments compared with existing baselines, while supporting fast and intuitive scene editing.
関連論文
- VoxLution: 高精細3Dシーン生成のためのボクセル進化3Dシーン生成
- LucidLyra: マルチタスク蒸留によるフィードフォワード生成3Dシーン再構成と統合的理解3Dシーン生成
- ScIntBench:3D屋内シーン生成における物理的インタラクションの妥当性評価ベンチマーク3Dシーン生成
- SceneMosaic: ハイブリッドエージェント的レイアウト進化による効率的で多様なシミュレーション対応シーン生成3Dシーン生成
- SpatialCrafter: 生成3Dプロキシを用いた単一画像からのワールドモデリング3Dシーン生成
- Genie Sim PanoWorld: パノラマシーン生成とシミュレーションによる無限屋内3Dワールド生成パイプライン3Dシーン生成
