視覚的アフォーダンス予測:サーベイと再現性
Visual Affordance Prediction: Survey and Reproducibility
視覚的アフォーダンス予測の統一的な定式化を提案し、既存手法とデータセットを体系的にレビューするとともに、再現性の問題を議論し、透明性向上のための「アフォーダンスシート」を導入した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Tommaso Apicella, Alessio Xompero, Andrea Cavallaro
分類: cs.CV, cs.RO
原文アブストラクト
Affordances are the potential actions an agent can perform on an object, as observed by a camera. Visual affordance prediction is formulated differently for tasks such as grasping detection, affordance classification, affordance segmentation, and hand pose estimation. This diversity in formulations leads to inconsistent definitions that prevent fair comparisons between methods. In this paper, we propose a unified formulation of visual affordance prediction by accounting for the complete information on the objects of interest and the interaction of the agent with the objects to accomplish a task. This unified formulation allows us to comprehensively and systematically review disparate visual affordance works, highlighting strengths and limitations of both methods and datasets. We also discuss reproducibility issues, such as the unavailability of methods implementation and experimental setups details, making benchmarks for visual affordance prediction unfair and unreliable. To favour transparency, we introduce the Affordance Sheet, a document that details the solution, datasets, and validation of a method, supporting future reproducibility and fairness in the community.
関連論文
- UniRAP:部位レベルの物理的アフォーダンス推論と行動可能な知覚の統合モデルアフォーダンス
- CRAFT-E: 身体性を持つアフォーダンス接地のためのニューロシンボリックフレームワークアフォーダンス
- RoboAfford++: ロボット操作とナビゲーションのためのマルチモーダルアフォーダンス学習向け生成AI強化データセットアフォーダンス
- O$^3$Afford: 汎化可能なロボット操作のためのワンショット3D物体間アフォーダンス接地アフォーダンス
- 言語指示・視覚観察・インタラクションに基づく3D物体アフォーダンスのグラウンディングアフォーダンス
- 一人称視点の整理シーンにおける変形物体のワンショットアフォーダンスグラウンディングアフォーダンス
