日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dシーン理解arXiv:2509.16721

Text-Scene: 3Dシーン理解のためのシーン・トゥ・言語解析フレームワーク

Text-Scene: A Scene-to-Language Parsing Framework for 3D Scene Understanding

シェア:XThreadsFacebookLINEはてブBluesky

3Dシーンを物体属性や空間関係を含むテキスト記述へ自動変換するフレームワークを提案し、3Dタスク計画のベンチマークInPlan3Dも構築した。

詳しい要約

1. どんなもの?

- 3D scene を自動でテキスト記述に変換する Text-Scene というフレームワーク - 物体属性と空間関係を識別し、シーン全体の一貫した要約を生成 - 3D 観測と言語の橋渡しを人手介入なしで行う - 併せて 3D task planning 用 benchmark の InPlan3D を提案 - 636 の indoor scene にわたる 3174 の long-term planning task で構成 - 目的は embodied AI エージェントの 3D scene 理解と対話の支援

2. 先行研究と比べてどこがすごい?

- MLLMs は 2D 画像理解で進展したが 3D への拡張は困難 - 3D は spatial relationships、affordances、physics、layout など概念が豊富 - 大規模 3D vision-language dataset が不足 - Text-Scene は人手アノテーションに依存せず 3D をテキスト化 - geometric analysis と MLLMs を組み合わせる点が特徴 - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- 入力 3D scene から物体属性と空間関係を識別 - その後シーン全体の coherent な summary を生成 - geometric analysis と MLLMs の両方を活用 - object-level の詳細と global-level の文脈を捉える - human-in-the-loop を必要としない自動パイプライン - 詳細なモジュール構成は要旨からは不明

4. どうやって有効だと検証した?

- benchmark 上で textual parse が 3D scene を忠実に表現し downstream task に寄与することを実験的に示す - MLLMs の推論能力評価用に InPlan3D を提示 - 636 indoor scene、3174 long-term planning task - 具体的な指標や比較手法は要旨からは不明

5. 議論はある?

- 言語を通じて 3D scene 内容を理解可能にする明瞭性とアクセシビリティを重視 - 限界や失敗ケース、計算コストなどの議論は要旨からは不明 - code と dataset は公開予定と記載

6. 次に読むべき論文は?

- InPlan3D benchmark を用いた 3D task planning 研究 - MLLMs を用いた 3D vision-language 理解の関連研究 - 3D scene graph 生成や spatial relationship 推論の手法 - 具体的な参照論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyuan Li, Rui Liu, Hehe Fan, Yi Yang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Enabling agents to understand and interact with complex 3D scenes is a fundamental challenge for embodied artificial intelligence systems. While Multimodal Large Language Models (MLLMs) have achieved significant progress in 2D image understanding, extending such capabilities to 3D scenes remains difficult: 1) 3D environment involves richer concepts such as spatial relationships, affordances, physics, layout, and so on, 2) the absence of large-scale 3D vision-language datasets has posed a significant obstacle. In this paper, we introduce Text-Scene, a framework that automatically parses 3D scenes into textual descriptions for scene understanding. Given a 3D scene, our model identifies object attributes and spatial relationships, and then generates a coherent summary of the whole scene, bridging the gap between 3D observation and language without requiring human-in-the-loop intervention. By leveraging both geometric analysis and MLLMs, Text-Scene produces descriptions that are accurate, detailed, and human-interpretable, capturing object-level details and global-level context. Experimental results on benchmarks demonstrate that our textual parses can faithfully represent 3D scenes and benefit downstream tasks. To evaluate the reasoning capability of MLLMs, we present InPlan3D, a comprehensive benchmark for 3D task planning, consisting of 3174 long-term planning tasks across 636 indoor scenes. We emphasize clarity and accessibility in our approach, aiming to make 3D scene content understandable through language. Code and datasets will be released.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI