一人称視点での幾何学駆動型ワンショット・アフォーダンス検出
Egocentric affordance detection with the one-shot geometry-driven Interaction Tensor
物体と環境の相互作用を幾何学情報のみで表現するInteraction Tensorを提案し、単一の訓練例から新しい環境でのアフォーダンス候補位置を高速に予測できることを示した。
著者: Eduardo Ruiz, Walterio Mayol-Cuevas
分類: cs.CV, cs.RO
原文アブストラクト
In this abstract we describe recent [4,7] and latest work on the determination of affordances in visually perceived 3D scenes. Our method builds on the hypothesis that geometry on its own provides enough information to enable the detection of significant interaction possibilities in the environment. The motivation behind this is that geometric information is intimately related to the physical interactions afforded by objects in the world. The approach uses a generic representation for the interaction between everyday objects such as a mug or an umbrella with the environment, and also for more complex affordances such as humans Sitting or Riding a motorcycle. Experiments with synthetic and real RGB-D scenes show that the representation enables the prediction of affordance candidate locations in novel environments at fast rates and from a single (one-shot) training example. The determination of affordances is a crucial step towards systems that need to perceive and interact with their surroundings. We here illustrate output on two cases for a simulated robot and for an Augmented Reality setting, both perceiving in an egocentric manner.
関連論文
- 確率的プロトタイプによる3D点群上の解釈可能なアフォーダンス検出アフォーダンス検出
- 知識蒸留とテキスト-点相関を用いたオープンボキャブラリ・アフォーダンス検出アフォーダンス検出
- 3D点群におけるオープンボキャブラリ・アフォーダンス検出アフォーダンス検出
- 動的ツリーカプセルネットワークによるアフォーダンス検出アフォーダンス検出
- 3D顕著性と幾何情報を活用した高速・スケーラブルな複数アフォーダンス検出アフォーダンス検出
- AffordanceNet:物体のアフォーダンス検出のためのエンドツーエンド深層学習手法アフォーダンス検出
