SAM2誘導知覚と模倣学習による物体中心型移動マニピュレーション
Object-Centric Mobile Manipulation through SAM2-Guided Perception and Imitation Learning
SAM2を用いて物体中心の知覚を行い、異なる接近角度からの実演でも汎化する移動マニピュレーションの模倣学習手法を提案し、ピックアンドプレースで評価した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Wang Zhicheng, Satoshi Yagi, Satoshi Yamamori, Jun Morimoto
分類: cs.RO
原文アブストラクト
Imitation learning for mobile manipulation is a key challenge in the field of robotic manipulation. However, current mobile manipulation frameworks typically decouple navigation and manipulation, executing manipulation only after reaching a certain location. This can lead to performance degradation when navigation is imprecise, especially due to misalignment in approach angles. To enable a mobile manipulator to perform the same task from diverse orientations, an essential capability for building general-purpose robotic models, we propose an object-centric method based on SAM2, a foundation model towards solving promptable visual segmentation in images, which incorporates manipulation orientation information into our model. Our approach enables consistent understanding of the same task from different orientations. We deploy the model on a custom-built mobile manipulator and evaluate it on a pick-and-place task under varied orientation angles. Compared to Action Chunking Transformer, our model maintains superior generalization when trained with demonstrations from varied approach angles. This work significantly enhances the generalization and robustness of imitation learning-based mobile manipulation systems.
関連論文
- TAMPAgent:移動マニピュレーションのためのエージェント型信念空間プランニング移動マニピュレーション
- ぐらつく土台の影響を解明:移動マニピュレーションにおける非剛体ベース効果の特性評価移動マニピュレーション
- 基盤モデル駆動3Dシーングラフによる移動マニピュレーション移動マニピュレーション
- MuSTMM: 複数シーンにわたる音トリガー移動マニピュレーションの学習移動マニピュレーション
- MoCaP: 受動的な人間動画を用いたゼロショット移動マニピュレーションのためのモバイル・コード・アズ・ポリシー移動マニピュレーション
- 動く前に見よ:オープンワールド移動マニピュレーションのためのエージェント・インターフェース整合型教師あり学習移動マニピュレーション
