Rein3D: パノラマビデオ拡散モデルによる強化学習型3D屋内シーン生成
Rein3D: Reinforced 3D Indoor Scene Generation with Panoramic Video Diffusion Models
3Dガウススプラッティングとビデオ拡散モデルを組み合わせ、疎な入力から360度の一貫した3D屋内シーンを復元・生成するフレームワークを提案した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Dehui Wang, Rong Wei, Yue Shi, Congsheng Xu, Shoufa Chen, Dingxiang Luo, Tianshuo Yang, Xiaokang Yang, Wei Sui, Yusen Qin, Rui Tang, Yao Mu
分類: cs.CV
原文アブストラクト
The growing demand for Embodied AI and VR applications has highlighted the need for synthesizing high-quality 3D indoor scenes from sparse inputs. However, existing approaches struggle to infer massive amounts of missing geometry in large unseen areas while maintaining global consistency, often producing locally plausible but globally inconsistent reconstructions. We present Rein3D, a framework that reconstructs full 360-degree indoor environments by coupling explicit 3D Gaussian Splatting (3DGS) with temporally coherent priors from video diffusion models. Our approach follows a "restore-and-refine" paradigm: we employ a radial exploration strategy to render imperfect panoramic videos along trajectories starting from the origin, effectively uncovering occluded regions from a coarse 3DGS initialization. These sequences are restored by a panoramic video-to-video diffusion model and further enhanced via video super-resolution to synthesize high-fidelity geometry and textures. Finally, these refined videos serve as pseudo-ground truths to update the global 3D Gaussian field. To support this task, we construct PanoV2V-15K, a dataset of over 15K paired clean and degraded panoramic videos for diffusion-based scene restoration. Experiments demonstrate that Rein3D produces photorealistic and globally consistent 3D scenes and significantly improves long-range camera exploration compared with existing baselines.
関連論文
- VoxLution: 高精細3Dシーン生成のためのボクセル進化3Dシーン生成
- LucidLyra: マルチタスク蒸留によるフィードフォワード生成3Dシーン再構成と統合的理解3Dシーン生成
- ScIntBench：3D屋内シーン生成における物理的インタラクションの妥当性評価ベンチマーク3Dシーン生成
- SceneMosaic: ハイブリッドエージェント的レイアウト進化による効率的で多様なシミュレーション対応シーン生成3Dシーン生成
- SpatialCrafter: 生成3Dプロキシを用いた単一画像からのワールドモデリング3Dシーン生成
- Genie Sim PanoWorld: パノラマシーン生成とシミュレーションによる無限屋内3Dワールド生成パイプライン3Dシーン生成
