日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動マニピュレーションarXiv:2507.10899

SAM2誘導知覚と模倣学習による物体中心型移動マニピュレーション

Object-Centric Mobile Manipulation through SAM2-Guided Perception and Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

SAM2を用いて物体中心の知覚を行い、異なる接近角度からの実演でも汎化する移動マニピュレーションの模倣学習手法を提案し、ピックアンドプレースで評価した。

詳しい要約

1. どんなもの?

- モバイルマニピュレーションにおける模倣学習の新手法 - ナビゲーションとマニピュレーションを分離せず、多様な方位から同一タスクを実行可能にする - SAM2(promptable visual segmentation の基盤モデル)を用いた object-centric なアプローチ - 操作方位情報をモデルに組み込む - カスタム構築した mobile manipulator 上に実装

2. 先行研究と比べてどこがすごい?

- 従来のモバイルマニピュレーションはナビゲーションとマニピュレーションを分離 - ナビゲーションが不正確だと性能劣化、特に approach angle のずれに弱い - 提案手法は異なる方位から同一タスクを一貫して理解可能 - Action Chunking Transformer と比較して、多様な approach angle の実演で訓練した際の汎化が優れる

3. 技術・手法の肝は?

- SAM2 を基盤とした object-centric な知覚手法 - 操作方位情報をモデルに組み込むことで方位不変なタスク理解を実現 - 同一タスクを異なる方位から一貫して認識 - 詳細なアーキテクチャや学習手順は要旨からは不明

4. どうやって有効だと検証した?

- カスタム構築した mobile manipulator にモデルを実装 - pick-and-place タスクを様々な方位角で評価 - 多様な approach angle の実演で訓練し、Action Chunking Transformer と比較 - 提案手法が優れた汎化を示すことを確認

5. 議論はある?

- モバイルマニピュレーションの汎化性と堅牢性を向上させると主張 - 汎用ロボットモデル構築への貢献を示唆 - 具体的な限界や失敗ケース、計算コストなどの議論は要旨からは不明

6. 次に読むべき論文は?

- Action Chunking Transformer(比較対象) - SAM2(基盤モデル) - 模倣学習ベースのモバイルマニピュレーション関連研究 - object-centric なロボット知覚に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wang Zhicheng, Satoshi Yagi, Satoshi Yamamori, Jun Morimoto

分類: cs.RO

原文アブストラクト

Imitation learning for mobile manipulation is a key challenge in the field of robotic manipulation. However, current mobile manipulation frameworks typically decouple navigation and manipulation, executing manipulation only after reaching a certain location. This can lead to performance degradation when navigation is imprecise, especially due to misalignment in approach angles. To enable a mobile manipulator to perform the same task from diverse orientations, an essential capability for building general-purpose robotic models, we propose an object-centric method based on SAM2, a foundation model towards solving promptable visual segmentation in images, which incorporates manipulation orientation information into our model. Our approach enables consistent understanding of the same task from different orientations. We deploy the model on a custom-built mobile manipulator and evaluate it on a pick-and-place task under varied orientation angles. Compared to Action Chunking Transformer, our model maintains superior generalization when trained with demonstrations from varied approach angles. This work significantly enhances the generalization and robustness of imitation learning-based mobile manipulation systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI