日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

アフォーダンス予測arXiv:2603.29419

RAAP: クロスイメージ行動アライメントを用いた検索拡張アフォーダンス予測

RAAP: Retrieval-Augmented Affordance Prediction with Cross-Image Action Alignment

シェア:XThreadsFacebookLINEはてブBluesky

物体のアフォーダンス予測を検索とアライメント学習で統合し、少数サンプルで未知物体・カテゴリへの汎化を実現するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 物体のaffordance理解を目的としたフレームワークRAAPを提案。 - 静的な接触点定位と動的な行動方向予測を分離。 - 検索拡張とアラインメント学習を統合。 - 未見物体・カテゴリへの汎化とゼロショットロボット操作を実現。

2. 先行研究と比べてどこがすごい?

- 既存のretrievalベースはsparsityとcoverage gapsで脆弱。 - 大規模モデルは未見カテゴリで接触点の誤定位と接触後行動の誤予測が多い。 - RAAPはこれらを統合し、少数サンプルでも一貫した性能を達成。

3. 技術・手法の肝は?

- 静的な接触定位と動的な行動方向をdecoupling。 - 密対応(dense correspondence)で接触点を転送。 - retrieval-augmented alignment modelで行動方向を予測。 - dual-weighted attentionで複数参照を統合。

4. どうやって有効だと検証した?

- DROIDとHOI4Dのコンパクトなサブセットで訓練(タスクあたり数十サンプル)。 - 未見物体・カテゴリで一貫した性能を確認。 - シミュレーションと実世界でゼロショットロボット操作を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- DROID, HOI4D, retrieval-augmented learning, affordance prediction, zero-shot manipulation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiyuan Zhuang, He-Yang Xu, Yijun Wang, Xin-Yang Zhao, Yang-Yang Li, Xiu-Shen Wei

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Understanding object affordances is essential for enabling robots to perform purposeful and fine-grained interactions in diverse and unstructured environments. However, existing approaches either rely on retrieval, which is fragile due to sparsity and coverage gaps, or on large-scale models, which frequently mislocalize contact points and mispredict post-contact actions when applied to unseen categories, thereby hindering robust generalization. We introduce Retrieval-Augmented Affordance Prediction (RAAP), a framework that unifies affordance retrieval with alignment-based learning. By decoupling static contact localization and dynamic action direction, RAAP transfers contact points via dense correspondence and predicts action directions through a retrieval-augmented alignment model that consolidates multiple references with dual-weighted attention. Trained on compact subsets of DROID and HOI4D with as few as tens of samples per task, RAAP achieves consistent performance across unseen objects and categories, and enables zero-shot robotic manipulation in both simulation and the real world. Project website: https://github.com/SEU-VIPGroup/RAAP.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI