日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動マニピュレーションarXiv:2511.06240

アフォーダンス誘導による粗から細への探索:オープンボキャブラリ移動マニピュレーションのためのベース配置

Affordance-Guided Coarse-to-Fine Exploration for Base Placement in Open-Vocabulary Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルの意味理解と幾何学的制約を組み合わせ、タスクに適したアフォーダンスを考慮してロボットのベース配置をゼロショットで探索する手法を提案し、5つのタスクで85%の成功率を達成した。

詳しい要約

1. どんなもの?

- 対象は open-vocabulary mobile manipulation (OVMM) における base placement の選択問題 - 既存手法が affordance を考慮せず近接領域へ移動するため manipulation が失敗しやすい点を課題とする - vision-language models (VLMs) の意味理解と幾何学的 feasibility を統合した zero-shot フレームワークを提案 - Affordance-Guided Coarse-to-Fine Exploration と呼ぶ反復最適化ベースの手法 - 5つの多様な OVMM タスクで 85% の success rate を報告

2. 先行研究と比べてどこがすごい?

- 既存手法は proximity-based な領域へ移動し affordance を考慮しないため manipulation 失敗が多い - 提案法は VLM の意味理解と幾何学的 feasibility を統合する点が異なる - 古典的 geometric planners および VLM-based 手法を有意に上回ると報告 - egocentric な RGB 知覚の限界を超える推論を可能にする点を主張 - zero-shot で動作する枠組みである点が特徴

3. 技術・手法の肝は?

- VLM の semantic understanding と幾何学的 feasibility を反復最適化で統合 - クロスモーダル表現 Affordance RGB と Obstacle Map+ を構築し意味と空間文脈を整合 - VLM からの coarse semantic priors でタスク関連領域へ探索を誘導 - その後 geometric constraints で placement を refine する coarse-to-fine 構成 - これにより local optima への収束リスクを低減

4. どうやって有効だと検証した?

- 5つの多様な open-vocabulary mobile manipulation タスクで評価 - 85% の success rate を達成したと報告 - 比較対象は classical geometric planners と VLM-based 手法 - 両者を significantly outperform したと記載 - 詳細な実験設定や指標の定義は要旨からは不明

5. 議論はある?

- affordance-aware かつ multimodal な推論が OVMM の汎化可能な instruction-conditioned planning に有望と主張 - local optima 回避のための coarse-to-fine 設計の有効性を示唆 - 失敗ケースや限界、計算コストに関する議論は要旨からは不明 - タスク間の汎化性能の詳細な分析は要旨からは不明

6. 次に読むべき論文は?

- 比較対象として言及される classical geometric planners の代表的手法 - 比較対象として言及される VLM-based base placement 手法 - open-vocabulary mobile manipulation (OVMM) のベンチマーク研究 - affordance grounding に関する vision-language 研究 - 具体的な論文名は要旨に記載がないため不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tzu-Jung Lin, Jia-Fong Yeh, Hung-Ting Su, Chung-Yi Lin, Yi-Ting Chen, Winston H. Hsu

分類: cs.RO, cs.AI

原文アブストラクト

In open-vocabulary mobile manipulation (OVMM), task success often hinges on the selection of an appropriate base placement for the robot. Existing approaches typically navigate to proximity-based regions without considering affordances, resulting in frequent manipulation failures. We propose Affordance-Guided Coarse-to-Fine Exploration, a zero-shot framework for base placement that integrates semantic understanding from vision-language models (VLMs) with geometric feasibility through an iterative optimization process. Our method constructs cross-modal representations, namely Affordance RGB and Obstacle Map+, to align semantics with spatial context. This enables reasoning that extends beyond the egocentric limitations of RGB perception. To ensure interaction is guided by task-relevant affordances, we leverage coarse semantic priors from VLMs to guide the search toward task-relevant regions and refine placements with geometric constraints, thereby reducing the risk of convergence to local optima. Evaluated on five diverse open-vocabulary mobile manipulation tasks, our system achieves an 85% success rate, significantly outperforming classical geometric planners and VLM-based methods. This demonstrates the promise of affordance-aware and multimodal reasoning for generalizable, instruction-conditioned planning in OVMM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI