知識蒸留とテキスト-点相関を用いたオープンボキャブラリ・アフォーダンス検出
Open-Vocabulary Affordance Detection using Knowledge Distillation and Text-Point Correlation
3D点群に対して知識蒸留とテキスト-点相関を組み合わせ、未知の物体や新しいアフォーダンスラベルにも対応できるオープンボキャブラリなアフォーダンス検出手法を提案した。
著者: Tuan Van Vo, Minh Nhat Vu, Baoru Huang, Toan Nguyen, Ngan Le, Thieu Vo, Anh Nguyen
分類: cs.RO
原文アブストラクト
Affordance detection presents intricate challenges and has a wide range of robotic applications. Previous works have faced limitations such as the complexities of 3D object shapes, the wide range of potential affordances on real-world objects, and the lack of open-vocabulary support for affordance understanding. In this paper, we introduce a new open-vocabulary affordance detection method in 3D point clouds, leveraging knowledge distillation and text-point correlation. Our approach employs pre-trained 3D models through knowledge distillation to enhance feature extraction and semantic understanding in 3D point clouds. We further introduce a new text-point correlation method to learn the semantic links between point cloud features and open-vocabulary labels. The intensive experiments show that our approach outperforms previous works and adapts to new affordance labels and unseen objects. Notably, our method achieves the improvement of 7.96% mIOU score compared to the baselines. Furthermore, it offers real-time inference which is well-suitable for robotic manipulation applications.
関連論文
- 確率的プロトタイプによる3D点群上の解釈可能なアフォーダンス検出アフォーダンス検出
- 3D点群におけるオープンボキャブラリ・アフォーダンス検出アフォーダンス検出
- 動的ツリーカプセルネットワークによるアフォーダンス検出アフォーダンス検出
- 一人称視点での幾何学駆動型ワンショット・アフォーダンス検出アフォーダンス検出
- 3D顕著性と幾何情報を活用した高速・スケーラブルな複数アフォーダンス検出アフォーダンス検出
- AffordanceNet:物体のアフォーダンス検出のためのエンドツーエンド深層学習手法アフォーダンス検出
