日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dシーン理解arXiv:2605.29879

DGSG-Mind: 長期シーン理解とグラウンディングのための動的3Dガウシアンシーングラフ

DGSG-Mind: Dynamic 3D Gaussian Scene Graphs for Long-Term Scene Understanding and Grounding

シェア:XThreadsFacebookLINEはてブBluesky

動的な3Dシーン表現にオープンボキャブラリの意味情報を統合し、インスタンス認識型の3Dガウシアン動的シーングラフと推論エージェントを構築した。

詳しい要約

1. どんなもの?

- DGSG-Mindは、長期的なembodied scene understandingのための動的3D Gaussian scene graphシステム。 - インスタンス認識型の3D Gaussianとembodied reasoning agentを組み合わせる。 - 階層的scene graphと3D Gaussian Mindを構築し、マルチモーダル推論を可能にする。 - 実ロボットに展開し、ターゲット指向推論と動的更新能力を実証。

2. 先行研究と比べてどこがすごい?

- 既存手法は不完全なcross-view cuesによる脆弱なinstance associationや、object-level topological changesへの対応不足があった。 - また、単純なfeature matchingで空間推論を欠くか、オフラインのground-truth 3D geometryを仮定していた。 - DGSG-Mindは自己再構成マップ上で動作する手法の中で最高のzero-shot 3DVG性能を達成。 - さらに3D open-vocabulary semantic segmentationとscene reconstructionでも強い性能を示す。

3. 技術・手法の肝は?

- probabilistic voxel gridとexplicit 3D Gaussiansを結合し、堅牢なcross-modal instance fusionとincremental semantic mappingを実現。 - Gaussian-based visual relocalizationとgeometric-semantic consistencyに導かれたlocalized masked refinementで動的変化に対応。 - instance Gaussian map上に階層的scene graphを構築し、3D Gaussian Mindが構造関係、空間意味情報、視覚注釈付きRoI Gaussian renderingsを統合。

4. どうやって有効だと検証した?

- 広範な実験により、自己再構成マップ上で動作する手法の中で最高のzero-shot 3DVG性能を達成。 - 3D open-vocabulary semantic segmentationとscene reconstructionでも強い性能を発揮。 - 実世界のロボットに展開し、ターゲット指向推論と動的更新能力を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、3D scene graph、open-vocabulary semantic segmentation、3D visual grounding (3DVG)、dynamic 3D Gaussian splatting、embodied reasoning agentなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Luzhou Ge, Xiangyu Zhu, Jinyan Liu, Xuesong Li

分類: cs.CV, cs.RO

原文アブストラクト

Integrating open-vocabulary semantic information into dynamic 3D scene representations is essential for long-term embodied scene understanding. However, existing methods often suffer from fragile instance association due to incomplete cross-view cues, while their limited ability to handle object-level topological changes restricts long-term robotic task execution. Moreover, current 3D scene understanding methods either rely on simple feature matching without explicit spatial reasoning or assume offline ground-truth 3D geometry. To address these challenges, we present DGSG-Mind, a hybrid instance-aware 3D Gaussian dynamic scene graph system with an embodied reasoning agent. Our system couples a probabilistic voxel grid with explicit 3D Gaussians to enable robust cross-modal instance fusion and incremental semantic mapping. It handles dynamic changes through Gaussian-based visual relocalization and localized masked refinement guided by geometric-semantic consistency. Built on the instance Gaussian map, DGSG-Mind further constructs a hierarchical scene graph and develops the 3D Gaussian Mind, which integrates structural relations, spatial-semantic information, and visually annotated RoI Gaussian renderings for multimodal reasoning. Extensive experiments show that DGSG-Mind achieves the best zero-shot 3DVG performance among methods operating on self-reconstructed maps, while also delivering strong performance in 3D open-vocabulary semantic segmentation and scene reconstruction. We further deploy DGSG-Mind on real-world robots to demonstrate its target-oriented reasoning and dynamic update capabilities. The project page of DGSG-Mind is available at https://icr-lab.github.io/DGSG-Mind

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI