ODYSSEY: 四足歩行ロボットによるオープンワールドでの長期的移動マニピュレーション
ODYSSEY: Open-World Quadrupeds Exploration and Manipulation for Long-Horizon Tasks
視覚言語モデルによる階層的プランナと全身制御ポリシーを統合し、マニピュレータ搭載四足ロボットが言語指示に基づく長期的な移動操作タスクを遂行できるフレームワークを提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Kaijun Wang, Liqin Lu, Mingyu Liu, Jianuo Jiang, Zeju Li, Bolin Zhang, Wancai Zheng, Xinyi Yu, Hao Chen, Chunhua Shen
分類: cs.RO, cs.CV
原文アブストラクト
Language-guided long-horizon mobile manipulation has long been a grand challenge in embodied semantic reasoning, generalizable manipulation, and adaptive locomotion. Three fundamental limitations hinder progress: First, although large language models have improved spatial reasoning and task planning through semantic priors, existing implementations remain confined to tabletop scenarios, failing to address the constrained perception and limited actuation ranges of mobile platforms. Second, current manipulation strategies exhibit insufficient generalization when confronted with the diverse object configurations encountered in open-world environments. Third, while crucial for practical deployment, the dual requirement of maintaining high platform maneuverability alongside precise end-effector control in unstructured settings remains understudied. In this work, we present ODYSSEY, a unified mobile manipulation framework for agile quadruped robots equipped with manipulators, which seamlessly integrates high-level task planning with low-level whole-body control. To address the challenge of egocentric perception in language-conditioned tasks, we introduce a hierarchical planner powered by a vision-language model, enabling long-horizon instruction decomposition and precise action execution. At the control level, our novel whole-body policy achieves robust coordination across challenging terrains. We further present the first benchmark for long-horizon mobile manipulation, evaluating diverse indoor and outdoor scenarios. Through successful sim-to-real transfer, we demonstrate the system's generalization and robustness in real-world deployments, underscoring the practicality of legged manipulators in unstructured environments. Our work advances the feasibility of generalized robotic assistants capable of complex, dynamic tasks. Our project page: https://kaijwang.github.io/odyssey.github.io/
関連論文
- TAMPAgent:移動マニピュレーションのためのエージェント型信念空間プランニング移動マニピュレーション
- ぐらつく土台の影響を解明:移動マニピュレーションにおける非剛体ベース効果の特性評価移動マニピュレーション
- 基盤モデル駆動3Dシーングラフによる移動マニピュレーション移動マニピュレーション
- MuSTMM: 複数シーンにわたる音トリガー移動マニピュレーションの学習移動マニピュレーション
- MoCaP: 受動的な人間動画を用いたゼロショット移動マニピュレーションのためのモバイル・コード・アズ・ポリシー移動マニピュレーション
- 月面作業のための安全制約付き全身移動マニピュレーション学習移動マニピュレーション
