T-FunS3D: タスク駆動型階層的オープンボキャブラリ3D機能セグメンテーション
T-FunS3D: Task-Driven Hierarchical Open-Vocabulary 3D Functionality Segmentation
ロボットが3Dシーン内の機能的オブジェクト部品をタスク記述に基づいて特定するための、タスク駆動型の階層的オープンボキャブラリ3D機能セグメンテーション手法を提案した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jingkun Feng, Reza Sabzevari
分類: cs.CV, cs.RO
原文アブストラクト
Open-vocabulary 3D functionality segmentation enables robots to localize functional object components in 3D scenes. It is a challenging task that requires spatial understanding and task interpretation. Current open-vocabulary 3D segmentation methods primarily focus on object-level recognition, while scene-wide part segmentation methods attempt to segment the entire scene exhaustively, making them highly resource-intensive and time consuming. Balancing segmentation performance in terms of granularity, accuracy, and speed remains a challenge. As one step towards alleviating this, we introduce T-FunS3D, a task-driven hierarchical open-vocabulary 3D functionality segmentation method that provides actionable perception for robotic applications. Our method takes as input the 3D point cloud and posed RGB-D images of an indoor scene. We construct an open-vocabulary scene graph by extracting instances and their visual embeddings in the environment. Given a task description, T-FunS3D identifies the most relevant instances in the scene graph and locates their functional components leveraging a vision-language model. Experiments on the SceneFun3D dataset demonstrate that T-FunS3D is comparable to state-of-the-art in open-vocabulary 3D functionality segmentation, while achieving faster runtime and reduced memory usage.
関連論文
- Lang3DSeg: 点群トランスフォーマによるアノテーションフリーなオープンボキャブラリ3Dセグメンテーション3Dセグメンテーション
- SplatLabel: 4Dガウシアンスプラッティングによる擬似ラベリング3Dセグメンテーション
- UniPart: 実世界インタラクションのためのゼロショット言語接地3Dパーツセグメンテーション3Dセグメンテーション
- 仮想ドローンを飛ばして3Dガウシアンをオンラインでセグメンテーション3Dセグメンテーション
- EPS3D: エンドツーエンドのフィードフォワード型3Dパノプティックセグメンテーション3Dセグメンテーション
- TrackRef3D: 3Dガウススプラッティングにおけるオープンワールド参照セグメンテーションのための多視点一貫トラック・アンド・ラベル手法3Dセグメンテーション
