日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dシーン理解arXiv:2606.06485

PAR3D: 部品認識表現を用いた統合3Dマルチモーダル大規模言語モデルによるシーン理解

PAR3D: A Unified 3D-MLLM with Part-Aware Representation for Scene Understanding

シェア:XThreadsFacebookLINEはてブBluesky

3Dシーン理解のための部品レベルの認識を可能にする統合3D-MLLMフレームワークPAR3Dを提案し、部品注釈付き合成データセットScenePartと階層的セグメンテーションクエリ生成により、部品レベルの質問応答と参照セグメンテーションを改善した。

詳しい要約

1. どんなもの?

- 3D-MLLMの新しいフレームワークPAR3Dを提案 - 物体だけでなく部品(part)も理解・推論・グラウンディング可能 - 部品レベルのアノテーションと言語指示を持つ合成3DシーンデータセットScenePartを導入 - 部品レベルの質問応答や参照セグメンテーションを改善 - 物体レベルの視覚言語タスクでも高い性能を達成

2. 先行研究と比べてどこがすごい?

- 既存の3D-MLLMは物体中心で、細かい部品構造のモデル化が不十分 - embodied interactionに必要な部品レベルの理解を可能にした - 部品レベルのアノテーションと言語指示を備えたScenePartを新たに構築 - 部品レベルのQAと参照セグメンテーションで大幅な改善を実現 - 物体レベルのタスクでも強い性能を維持

3. 技術・手法の肝は?

- Part-Aware 3D Representation Learningを開発し、3D視覚表現に部品レベルの意味を付与 - Hierarchical Segmentation Query Generationを提案し、階層的な物体-部品クエリで部品ターゲットをグラウンディング - 統合された部品認識3D-MLLMフレームワーク - 部品と物体の両方を理解・推論・グラウンディングする能力を実現

4. どうやって有効だと検証した?

- 広範な実験を実施 - 部品レベルの質問応答と参照セグメンテーションで大幅な改善を確認 - 物体レベルの視覚言語タスクでも強い性能を達成 - 具体的なデータセットや評価指標は要旨からは不明

5. 議論はある?

- 既存の3D-MLLMの物体中心の限界を指摘 - 部品レベルの理解がembodied interactionに重要と主張 - 合成データセットScenePartの利用による訓練と評価 - 具体的な議論や限界については要旨からは不明

6. 次に読むべき論文は?

- 3D-MLLMの先行研究(例:3D-LLM, PointLLMなど) - 部品レベルの3D理解に関する研究(例:PartNet, ShapeNet Partなど) - 3Dシーン理解のためのマルチモーダル手法 - 参照セグメンテーションの手法(例:ScanRefer, ReferIt3Dなど)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shaohui Dai, Yansong Qu, You Shen, Shengchuan Zhang, Liujuan Cao

分類: cs.CV

原文アブストラクト

Recent advances in 3D multimodal large language models (3D-MLLMs) have enabled unified solutions for 3D scene understanding tasks, including visual question answering, captioning, and referring segmentation. However, existing 3D-MLLMs remain largely object-centric, limiting their ability to model fine-grained part structures that are essential for embodied interaction with 3D environments. In this work, we present PAR3D, a unified part-aware 3D-MLLM framework that enables models to understand, reason about, and ground both objects and their parts in 3D scenes. To enable training and evaluation of part-aware 3D scene understanding, we introduce ScenePart, a synthetic 3D scene dataset with part-level annotations and language instructions. We further develop Part-Aware 3D Representation Learning to enrich 3D visual representations with fine-grained part-level semantics, and propose Hierarchical Segmentation Query Generation to ground part targets via hierarchical object-part queries. Extensive experiments show that our method substantially improves part-level question answering and referring segmentation, while also achieving strong performance across object-level vision-language tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI