Genie Sim PanoWorld: パノラマシーン生成とシミュレーションによる無限屋内3Dワールド生成パイプライン
Genie Sim PanoWorld: An Infinite Indoor 3D World Generation Pipeline via Panoramic Scene Modeling and Simulation
単一の360度パノラマ画像から、自由に移動可能な高忠実度3Dシーンを再構築する2段階のフィードフォワードパイプラインを提案。軌道制御可能なパノラマ動画を生成し、それを3Dガウシアンシーンに変換することで、シミュレーション用アセットとして利用可能にする。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yongxin Su, Linjie Hou, Feng Wang, Jialin Tang, Zhijun Li, Qian Wang, Maoqing Yao
分類: cs.CV
原文アブストラクト
We address the problem of reconstructing a high-fidelity, freely navigable 3D scene from a single $360^\circ$ panorama, without per-scene optimization or multi-view capture. Existing methods either lack metric trajectory control, which hinders reliable downstream 3D reconstruction, or struggle with large disocclusions under long-range camera motion while requiring high-end multi-GPU servers.We present Genie Sim PanoWorld, a two-stage feed-forward pipeline that bridges generation and reconstruction via an explicit, trajectory-controllable panoramic video. A NavMesh-planned $\mathrm{SE}(3)$ roaming trajectory is injected into a latent video diffusion model through dense geometry-warped conditioning; long--short trajectory mixed training and a self-consistency objective based on shortcut models together yield high-fidelity video in four CFG-free denoising steps. A feed-forward panoramic reconstructor then lifts the generated video into a high-fidelity 3D Gaussian scene that supports real-time, free-viewpoint roaming and can be directly used as a simulation-ready asset for embodied AI applications. Experiments show that Genie Sim PanoWorld outperforms geometry-conditioned baselines in both panoramic video generation and downstream 3D reconstruction, while generalizing zero-shot to unseen indoor scenes.
関連論文
- VoxLution: 高精細3Dシーン生成のためのボクセル進化3Dシーン生成
- LucidLyra: マルチタスク蒸留によるフィードフォワード生成3Dシーン再構成と統合的理解3Dシーン生成
- ScIntBench：3D屋内シーン生成における物理的インタラクションの妥当性評価ベンチマーク3Dシーン生成
- SceneMosaic: ハイブリッドエージェント的レイアウト進化による効率的で多様なシミュレーション対応シーン生成3Dシーン生成
- SpatialCrafter: 生成3Dプロキシを用いた単一画像からのワールドモデリング3Dシーン生成
- SimWorlds: 動的3Dシーン生成のためのマルチエージェントシステム3Dシーン生成
