アフォーダンス誘導による粗から細への探索:オープンボキャブラリ移動マニピュレーションのためのベース配置
Affordance-Guided Coarse-to-Fine Exploration for Base Placement in Open-Vocabulary Mobile Manipulation
視覚言語モデルの意味理解と幾何学的制約を組み合わせ、タスクに適したアフォーダンスを考慮してロボットのベース配置をゼロショットで探索する手法を提案し、5つのタスクで85%の成功率を達成した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Tzu-Jung Lin, Jia-Fong Yeh, Hung-Ting Su, Chung-Yi Lin, Yi-Ting Chen, Winston H. Hsu
分類: cs.RO, cs.AI
原文アブストラクト
In open-vocabulary mobile manipulation (OVMM), task success often hinges on the selection of an appropriate base placement for the robot. Existing approaches typically navigate to proximity-based regions without considering affordances, resulting in frequent manipulation failures. We propose Affordance-Guided Coarse-to-Fine Exploration, a zero-shot framework for base placement that integrates semantic understanding from vision-language models (VLMs) with geometric feasibility through an iterative optimization process. Our method constructs cross-modal representations, namely Affordance RGB and Obstacle Map+, to align semantics with spatial context. This enables reasoning that extends beyond the egocentric limitations of RGB perception. To ensure interaction is guided by task-relevant affordances, we leverage coarse semantic priors from VLMs to guide the search toward task-relevant regions and refine placements with geometric constraints, thereby reducing the risk of convergence to local optima. Evaluated on five diverse open-vocabulary mobile manipulation tasks, our system achieves an 85% success rate, significantly outperforming classical geometric planners and VLM-based methods. This demonstrates the promise of affordance-aware and multimodal reasoning for generalizable, instruction-conditioned planning in OVMM.
関連論文
- TAMPAgent:移動マニピュレーションのためのエージェント型信念空間プランニング移動マニピュレーション
- ぐらつく土台の影響を解明:移動マニピュレーションにおける非剛体ベース効果の特性評価移動マニピュレーション
- 基盤モデル駆動3Dシーングラフによる移動マニピュレーション移動マニピュレーション
- MuSTMM: 複数シーンにわたる音トリガー移動マニピュレーションの学習移動マニピュレーション
- MoCaP: 受動的な人間動画を用いたゼロショット移動マニピュレーションのためのモバイル・コード・アズ・ポリシー移動マニピュレーション
- 動く前に見よ:オープンワールド移動マニピュレーションのためのエージェント・インターフェース整合型教師あり学習移動マニピュレーション
