日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D空間推論arXiv:2507.07781

SURPRISE3D: 複雑な3Dシーンにおける空間理解と推論のためのデータセット

SURPRISE3D: A Dataset for Spatial Understanding and Reasoning in Complex 3D Scenes

シェア:XThreadsFacebookLINEはてブBluesky

物体名に頼らず空間関係のみを問う20万件超の視覚言語ペアを構築し、3Dシーンでの空間推論を評価するベンチマークを提案した。

詳しい要約

1. どんなもの?

- 言語と3D知覚を統合する embodied AI/robotics 向けの新データセット S\textsc{urprise}3D を提案 - 複雑な3D屋内シーンでの language-guided spatial reasoning segmentation を評価する目的 - ScanNet++ v2 の900+詳細屋内シーンから200k+の vision-language pair を収録 - 2.8k+の unique object class を含む - うち89k+は人手注釈の spatial query で、object name を意図的に含めずに作成 - 併せて 3D Spatial Reasoning Segmentation (3D-SRS) benchmark suite を提供

2. 先行研究と比べてどこがすごい?

- 既存データセットは object name などの semantic cue と spatial context を混在させ、モデルが空間関係を真に解釈せず表層的な shortcut に依存しがちだった - S\textsc{urprise}3D は object name を含まない spatial query を89k+人手注釈で用意し、shortcut bias を緩和 - relative position、narrative perspective、parametric perspective、absolute distance reasoning など多様な spatial reasoning skill を網羅 - 既存の expert 3D visual grounding 手法や 3D-LLM が大きく苦戦することを初期ベンチマークで示し、既存研究の空白を浮き彫りにした

3. 技術・手法の肝は?

- ScanNet++ v2 の詳細屋内シーンを基盤に vision-language pair を構築 - object name を除いた spatial query を人手で設計し、空間手がかりのみで対象を特定させる - relative position、narrative perspective、parametric perspective、absolute distance reasoning をカバーする query 設計 - 3D Spatial Reasoning Segmentation (3D-SRS) benchmark suite を整備し評価軸を定義 - 詳細な構築手続きやモデル設計は要旨からは不明

4. どうやって有効だと検証した?

- 初期ベンチマークで current state-of-the-art の expert 3D visual grounding 手法と 3D-LLM を評価 - これらの手法が S\textsc{urprise}3D で significant challenges に直面することを示した - データセットと 3D-SRS benchmark の必要性を裏付ける結果を提示 - 具体的な評価指標・スコア・被験手法名は要旨からは不明

5. 議論はある?

- semantic cue を除くことで shortcut bias を緩和する設計意図が議論の中心 - 現行 SOTA の 3D visual grounding と 3D-LLM が空間推論で苦戦する点を課題として提示 - spatially aware AI、embodied interaction、robotic planning への貢献を主張 - データセットの限界や倫理面、詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として言及される expert 3D visual grounding 手法および 3D-LLM の代表的研究 - 基盤データセットである ScanNet++ v2 - 関連ベンチマークとして 3D Spatial Reasoning Segmentation (3D-SRS) benchmark suite - 公開先 https://github.com/liziwennba/SUPRISE の code と dataset - 同分野の定番として 3D visual grounding および 3D-LLM 関連のサーベイ

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaxin Huang, Ziwen Li, Hanlve Zhang, Runnan Chen, Xiao He, Yandong Guo, Wenping Wang, Tongliang Liu, Mingming Gong

分類: cs.CV, cs.RO

原文アブストラクト

The integration of language and 3D perception is critical for embodied AI and robotic systems to perceive, understand, and interact with the physical world. Spatial reasoning, a key capability for understanding spatial relationships between objects, remains underexplored in current 3D vision-language research. Existing datasets often mix semantic cues (e.g., object name) with spatial context, leading models to rely on superficial shortcuts rather than genuinely interpreting spatial relationships. To address this gap, we introduce S\textsc{urprise}3D, a novel dataset designed to evaluate language-guided spatial reasoning segmentation in complex 3D scenes. S\textsc{urprise}3D consists of more than 200k vision language pairs across 900+ detailed indoor scenes from ScanNet++ v2, including more than 2.8k unique object classes. The dataset contains 89k+ human-annotated spatial queries deliberately crafted without object name, thereby mitigating shortcut biases in spatial understanding. These queries comprehensively cover various spatial reasoning skills, such as relative position, narrative perspective, parametric perspective, and absolute distance reasoning. Initial benchmarks demonstrate significant challenges for current state-of-the-art expert 3D visual grounding methods and 3D-LLMs, underscoring the necessity of our dataset and the accompanying 3D Spatial Reasoning Segmentation (3D-SRS) benchmark suite. S\textsc{urprise}3D and 3D-SRS aim to facilitate advancements in spatially aware AI, paving the way for effective embodied interaction and robotic planning. The code and datasets can be found in https://github.com/liziwennba/SUPRISE.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI