DeWorldSG: ワールドモデル事前知識による深度認識3Dセマンティックシーングラフ生成
DeWorldSG: Depth-Aware 3D Semantic Scene Graph Generation via World-Model Priors
RGB-Dシーケンスから時間的に安定した3Dセマンティックシーングラフを生成するフレームワークを提案。物体を確率的3Dノードとして表現し、ワールドモデルの事前知識で関係性を補完することで精度を大幅に向上させた。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Seok-Young Kim, Abdelrahman Elskhawy, Taewook Ha, Dooyoung Kim, Eunjae Shin, Benjamin Busam, Woontack Woo
分類: cs.CV, cs.AI
原文アブストラクト
We present DeWorldSG, a novel framework that generates spatio-temporally robust 3D Semantic Scene Graphs from RGB-D sequences. Existing methods often struggle to construct reliable 3D scene graphs due to unstable 3D object representations and missing relations caused by frame-wise inference. DeWorldSG addresses these issues by estimating instance-level geometric 3D Gaussian distributions through depth-guided filtering and representing each object as a probabilistic 3D node rather than a single projected point. To mitigate relational sparsity from frame-wise inference, our framework further aggregates spatiotemporal evidence across object pairs and refines relations using contextual priors derived from a world model (V-JEPA 2). Experiments on the 3DSSG and ReplicaSSG datasets demonstrate state-of-the-art (SoTA) performance in both object and predicate prediction, while producing temporally consistent scene structures. In particular, our method improves triplet recall by 77.4% and predicate recall by 23.2% over prior SoTA approaches, making it suitable for robotic manipulation and AR applications. Our code and models are open-sourced.
関連論文
- 自己回帰拡散による3Dシーングラフの高レベル概念生成3Dシーングラフ生成
- OP3DSG: 実世界環境のためのオープンボキャブラリ部品認識3Dシーングラフ生成3Dシーングラフ生成
