RAAP: クロスイメージ行動アライメントを用いた検索拡張アフォーダンス予測
RAAP: Retrieval-Augmented Affordance Prediction with Cross-Image Action Alignment
物体のアフォーダンス予測を検索とアライメント学習で統合し、少数サンプルで未知物体・カテゴリへの汎化を実現するフレームワークを提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Qiyuan Zhuang, He-Yang Xu, Yijun Wang, Xin-Yang Zhao, Yang-Yang Li, Xiu-Shen Wei
分類: cs.RO, cs.AI, cs.CV
原文アブストラクト
Understanding object affordances is essential for enabling robots to perform purposeful and fine-grained interactions in diverse and unstructured environments. However, existing approaches either rely on retrieval, which is fragile due to sparsity and coverage gaps, or on large-scale models, which frequently mislocalize contact points and mispredict post-contact actions when applied to unseen categories, thereby hindering robust generalization. We introduce Retrieval-Augmented Affordance Prediction (RAAP), a framework that unifies affordance retrieval with alignment-based learning. By decoupling static contact localization and dynamic action direction, RAAP transfers contact points via dense correspondence and predicts action directions through a retrieval-augmented alignment model that consolidates multiple references with dual-weighted attention. Trained on compact subsets of DROID and HOI4D with as few as tens of samples per task, RAAP achieves consistent performance across unseen objects and categories, and enables zero-shot robotic manipulation in both simulation and the real world. Project website: https://github.com/SEU-VIPGroup/RAAP.
関連論文
- 再現可能なマルチモーダル・アフォーダンス予測アフォーダンス予測
- 自己中心視点での指示に基づくアフォーダンス予測:大規模マルチモーダルモデルによるアプローチアフォーダンス予測
