指示拡張型長期計画:実世界マニピュレーションのための接地機構を組み込んだ身体性移動操作
Instruction-Augmented Long-Horizon Planning: Embedding Grounding Mechanisms in Embodied Mobile Manipulation
LLMの抽象推論と実時間センサ情報に基づく接地機構を組み合わせ、PDDL問題を生成することで、ヒューマノイドロボットが実環境で長期移動操作タスクを80%以上の成功率で遂行できる計画システムを提案した。
著者: Fangyuan Wang, Shipeng Lyu, Peng Zhou, Anqing Duan, Guodong Guo, David Navarro-Alarcon
分類: cs.RO, cs.AI
原文アブストラクト
Enabling humanoid robots to perform long-horizon mobile manipulation planning in real-world environments based on embodied perception and comprehension abilities has been a longstanding challenge. With the recent rise of large language models (LLMs), there has been a notable increase in the development of LLM-based planners. These approaches either utilize human-provided textual representations of the real world or heavily depend on prompt engineering to extract such representations, lacking the capability to quantitatively understand the environment, such as determining the feasibility of manipulating objects. To address these limitations, we present the Instruction-Augmented Long-Horizon Planning (IALP) system, a novel framework that employs LLMs to generate feasible and optimal actions based on real-time sensor feedback, including grounded knowledge of the environment, in a closed-loop interaction. Distinct from prior works, our approach augments user instructions into PDDL problems by leveraging both the abstract reasoning capabilities of LLMs and grounding mechanisms. By conducting various real-world long-horizon tasks, each consisting of seven distinct manipulatory skills, our results demonstrate that the IALP system can efficiently solve these tasks with an average success rate exceeding 80%. Our proposed method can operate as a high-level planner, equipping robots with substantial autonomy in unstructured environments through the utilization of multi-modal sensor inputs.
関連論文
- TAMPAgent:移動マニピュレーションのためのエージェント型信念空間プランニング移動マニピュレーション
- ぐらつく土台の影響を解明:移動マニピュレーションにおける非剛体ベース効果の特性評価移動マニピュレーション
- 基盤モデル駆動3Dシーングラフによる移動マニピュレーション移動マニピュレーション
- MuSTMM: 複数シーンにわたる音トリガー移動マニピュレーションの学習移動マニピュレーション
- MoCaP: 受動的な人間動画を用いたゼロショット移動マニピュレーションのためのモバイル・コード・アズ・ポリシー移動マニピュレーション
- 動く前に見よ:オープンワールド移動マニピュレーションのためのエージェント・インターフェース整合型教師あり学習移動マニピュレーション
