日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2512.18987

アフォーダンスRAG:モバイルマニピュレーションのためのアフォーダンス認識型身体化記憶を用いた階層的マルチモーダル検索

Affordance RAG: Hierarchical Multimodal Retrieval with Affordance-Aware Embodied Memory for Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

自由形式の指示に基づく移動マニピュレーションのため、事前探索画像からアフォーダンス認識型の身体化記憶を構築し、階層的マルチモーダル検索で対象物を特定するゼロショット手法を提案した。

詳しい要約

1. どんなもの?

- 本研究は、自由形式の自然言語指示に基づき多様な物体をreceptacleへ運ぶopen-vocabulary mobile manipulationの問題を扱う。 - 視覚意味論とmanipulation actionのaffordance理解が必要という課題に対し、Affordance RAGを提案。 - 事前探索画像からAffordance-Aware Embodied Memoryを構築するzero-shot階層型multimodal retrievalフレームワーク。 - 領域・視覚意味論で候補を検索し、affordance scoreでrerankして実行可能なmanipulation選択肢を同定する。

2. 先行研究と比べてどこがすごい?

- 既存手法と比較し、大規模屋内環境におけるmobile manipulation指示のretrieval性能で優位。 - 実世界の屋内mobile manipulation実験でtask success rate 85%を達成し、既存手法をretrieval性能・overall task successの両面で上回った。 - 先行研究の具体的名称や個別比較の詳細は要旨からは不明。 - affordanceを明示的に取り込みrerankする点が、視覚意味論のみの検索との差異として示唆される。

3. 技術・手法の肝は?

- 事前探索画像からAffordance-Aware Embodied Memoryを構築するzero-shotフレームワーク。 - hierarchical multimodal retrievalにより、regionalおよびvisual semanticsに基づいて候補targetを検索。 - 検索候補をaffordance scoreでrerankし、実環境で実行可能なmanipulation optionを選別。 - open-vocabulary設定に対応し、free-form自然言語指示を入力とする。 - 各構成要素の詳細なarchitectureや学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- 大規模屋内環境におけるmobile manipulation指示のretrieval performanceで既存手法と比較評価。 - 実世界実験として、屋内環境でrobotがfree-form指示に基づきmobile manipulationを実行。 - 提案手法はtask success rate 85%を達成し、既存手法をretrieval性能とoverall task successの両方で上回った。 - 評価データセット名、被験者数、試行回数、統計的有意性は要旨からは不明。

5. 議論はある?

- 要旨では、open-vocabulary mobile manipulationにおける視覚意味論とaffordance理解の重要性を議論。 - affordance scoreによるrerankが実環境で実行可能な選択肢の同定に寄与する点を示唆。 - 限界、失敗事例、計算コスト、memory構築コスト、一般化性に関する議論は要旨からは不明。 - 実世界成功率85%の詳細な内訳や比較条件は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている既存研究の個別名称は不明。 - 関連手法として、open-vocabulary mobile manipulation、multimodal retrieval、affordance-aware grasping/manipulation、embodied memory、RAG(Retrieval-Augmented Generation)系の研究を次に読む候補として挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ryosuke Korekata, Quanting Xie, Yonatan Bisk, Komei Sugiura

分類: cs.RO, cs.CL, cs.CV

原文アブストラクト

In this study, we address the problem of open-vocabulary mobile manipulation, where a robot is required to carry a wide range of objects to receptacles based on free-form natural language instructions. This task is challenging, as it involves understanding visual semantics and the affordance of manipulation actions. To tackle these challenges, we propose Affordance RAG, a zero-shot hierarchical multimodal retrieval framework that constructs Affordance-Aware Embodied Memory from pre-explored images. The model retrieves candidate targets based on regional and visual semantics and reranks them with affordance scores, allowing the robot to identify manipulation options that are likely to be executable in real-world environments. Our method outperformed existing approaches in retrieval performance for mobile manipulation instruction in large-scale indoor environments. Furthermore, in real-world experiments where the robot performed mobile manipulation in indoor environments based on free-form instructions, the proposed method achieved a task success rate of 85%, outperforming existing methods in both retrieval performance and overall task success.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI