大規模言語モデルによる汎化可能な長期的マニピュレーション
Generalizable Long-Horizon Manipulations with Large Language Models
LLMを用いて新規物体や未見タスクに対応するためのプリミティブタスク条件を生成し、DMP軌道を調整することで長期的なロボットマニピュレーションを実現するフレームワークを提案した。
著者: Haoyu Zhou, Mingyu Ding, Weikun Peng, Masayoshi Tomizuka, Lin Shao, Chuang Gan
分類: cs.RO, cs.CL, cs.CV, cs.LG
原文アブストラクト
This work introduces a framework harnessing the capabilities of Large Language Models (LLMs) to generate primitive task conditions for generalizable long-horizon manipulations with novel objects and unseen tasks. These task conditions serve as guides for the generation and adjustment of Dynamic Movement Primitives (DMP) trajectories for long-horizon task execution. We further create a challenging robotic manipulation task suite based on Pybullet for long-horizon task evaluation. Extensive experiments in both simulated and real-world environments demonstrate the effectiveness of our framework on both familiar tasks involving new objects and novel but related tasks, highlighting the potential of LLMs in enhancing robotic system versatility and adaptability. Project website: https://object814.github.io/Task-Condition-With-LLM/
関連論文
- 経験時代における実世界コード・アズ・ポリシー：ACE-CaP-0マニピュレーション
- 把持のアドミタンスによる入出力特性評価：設計パラメータと把持挙動の接続マニピュレーション
- ManiLadder：カテゴリ別・多難易度タスクラダーによるロボットマニピュレーションのベンチマークマニピュレーション
- 成功確率を変える事象を記憶する：Criticゲート付きイベントメモリによる長期的マニピュレーションマニピュレーション
- BiPOP: 長期的な両腕ロボット操作のための部分順序計画マニピュレーション
- RUMI: 拡張現実と触覚フィードバックを備えたRobotiq対応の汎用マニピュレーションインターフェースマニピュレーション
