AffordanceNet:物体のアフォーダンス検出のためのエンドツーエンド深層学習手法
AffordanceNet: An End-to-End Deep Learning Approach for Object Affordance Detection
RGB画像から物体検出とそのアフォーダンス(把持可能な部位など)のピクセル単位セグメンテーションを同時に行うエンドツーエンドの深層学習モデルを提案し、実時間ロボット応用に適することを示した。
著者: Thanh-Toan Do, Anh Nguyen, Ian Reid
分類: cs.CV, cs.RO
原文アブストラクト
We propose AffordanceNet, a new deep learning approach to simultaneously detect multiple objects and their affordances from RGB images. Our AffordanceNet has two branches: an object detection branch to localize and classify the object, and an affordance detection branch to assign each pixel in the object to its most probable affordance label. The proposed framework employs three key components for effectively handling the multiclass problem in the affordance mask: a sequence of deconvolutional layers, a robust resizing strategy, and a multi-task loss function. The experimental results on the public datasets show that our AffordanceNet outperforms recent state-of-the-art methods by a fair margin, while its end-to-end architecture allows the inference at the speed of 150ms per image. This makes our AffordanceNet well suitable for real-time robotic applications. Furthermore, we demonstrate the effectiveness of AffordanceNet in different testing environments and in real robotic applications. The source code is available at https://github.com/nqanh/affordance-net
関連論文
- 確率的プロトタイプによる3D点群上の解釈可能なアフォーダンス検出アフォーダンス検出
- 知識蒸留とテキスト-点相関を用いたオープンボキャブラリ・アフォーダンス検出アフォーダンス検出
- 3D点群におけるオープンボキャブラリ・アフォーダンス検出アフォーダンス検出
- 動的ツリーカプセルネットワークによるアフォーダンス検出アフォーダンス検出
- 一人称視点での幾何学駆動型ワンショット・アフォーダンス検出アフォーダンス検出
- 3D顕著性と幾何情報を活用した高速・スケーラブルな複数アフォーダンス検出アフォーダンス検出
