日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モバイルマニピュレーションarXiv:2509.01658

MoTo: 汎用モバイルマニピュレーションのためのゼロショット・プラグイン型インタラクション認識ナビゲーション

MoTo: A Zero-shot Plug-in Interaction-aware Navigation for General Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

固定ベースのマニピュレーション基盤モデルにプラグインするだけで、VLMと軌道最適化によりゼロショットで移動マニピュレーションを実現する手法を提案。

詳しい要約

1. どんなもの?

- Mobile manipulation を対象に、既存の manipulation foundation model に後付けできる plug-in module「MoTo」を提案する研究。 - 固定ベース前提の manipulation foundation model を、移動ベースを伴うタスクへ拡張することを狙う。 - 指示に従い、target object と robotic arm の interaction keypoints を VLM で推定し、docking point を生成する。 - 移動ベースと robot arm の motion planning objectives を最適化し、zero-shot で mobile manipulation を実現する。

2. 先行研究と比べてどこがすごい?

- 従来の mobile manipulation は大規模学習の不足により、タスクや環境への汎化が難しいとされる。 - 近年の manipulation foundation model は汎化性を示すが、固定ベース設定に限定されていた。 - MoTo は既存の off-the-shelf manipulation foundation model を変更せずに組み合わせ可能な plug-in として設計。 - mobile manipulation の expert data を必要とせず zero-shot で動作する点を特徴とする。 - OVMM と real-world で、追加学習データなしに state-of-the-art の mobile manipulation 手法より成功率がそれぞれ 2.68%、16.67% 高いと報告。

3. 技術・手法の肝は?

- interaction-aware navigation policy により、汎用的な mobile manipulation のための robot docking points を生成。 - interaction keypoints framework を VLM と multi-view consistency の下で構築し、指示に基づき target object と robotic arm の keypoints を推定。 - 固定ベースの manipulation foundation model をそのまま利用可能な構成とする。 - mobile base と robot arm の motion planning objectives を提案し、2 つの keypoints 間距離の最小化と軌道の物理的実現可能性を両立。 - これにより、固定ベース manipulation が成功可能な docking point へ移動し、VLM 生成と trajectory optimization で zero-shot の mobile manipulation を実現。

4. どうやって有効だと検証した?

- OVMM と real-world の両方で実験を実施。 - state-of-the-art の mobile manipulation 手法と比較し、成功率が OVMM で 2.68%、real-world で 16.67% 高いと報告。 - 追加の学習データを必要とせずにこれらの結果を得たと述べている。 - 詳細な実験設定やベースラインの内訳は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - ただし、zero-shot かつ expert data 不要という主張に対し、VLM の推定誤差や multi-view consistency の限界、実環境での汎化性についての議論が想定されるが、要旨には明記されていない。

6. 次に読むべき論文は?

- 要旨で比較対象として明示される state-of-the-art の mobile manipulation 手法(具体的名称は要旨からは不明)。 - 組み合わせ対象となる off-the-shelf manipulation foundation model に関する論文。 - VLM を用いた keypoint 推定や multi-view consistency に関する研究。 - OVMM ベンチマークおよび mobile manipulation の trajectory optimization に関する関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenyu Wu, Angyuan Ma, Xiuwei Xu, Hang Yin, Yinan Liang, Ziwei Wang, Jiwen Lu, Haibin Yan

分類: cs.RO

原文アブストラクト

Mobile manipulation stands as a core challenge in robotics, enabling robots to assist humans across varied tasks and dynamic daily environments. Conventional mobile manipulation approaches often struggle to generalize across different tasks and environments due to the lack of large-scale training. However, recent advances in manipulation foundation models demonstrate impressive generalization capability on a wide range of fixed-base manipulation tasks, which are still limited to a fixed setting. Therefore, we devise a plug-in module named MoTo, which can be combined with any off-the-shelf manipulation foundation model to empower them with mobile manipulation ability. Specifically, we propose an interaction-aware navigation policy to generate robot docking points for generalized mobile manipulation. To enable zero-shot ability, we propose an interaction keypoints framework via vision-language models (VLM) under multi-view consistency for both target object and robotic arm following instructions, where fixed-base manipulation foundation models can be employed. We further propose motion planning objectives for the mobile base and robot arm, which minimize the distance between the two keypoints and maintain the physical feasibility of trajectories. In this way, MoTo guides the robot to move to the docking points where fixed-base manipulation can be successfully performed, and leverages VLM generation and trajectory optimization to achieve mobile manipulation in a zero-shot manner, without any requirement on mobile manipulation expert data. Extensive experimental results on OVMM and real-world demonstrate that MoTo achieves success rates of 2.68% and 16.67% higher than the state-of-the-art mobile manipulation methods, respectively, without requiring additional training data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI