3D変形物体の計画と推論による階層的テキストからのロボット造形
Planning and Reasoning with 3D Deformable Objects for Hierarchical Text-to-3D Robotic Shaping
テキスト指示から粘土を粗い形状に配置し、変形動作で徐々に3D形状を造形する自律ロボットシステムを提案。大規模言語モデルでサブゴールを生成し、点群領域ベースの行動モデルでロボット動作を予測する。
著者: Alison Bartsch, Amir Barati Farimani
分類: cs.RO
原文アブストラクト
Deformable object manipulation remains a key challenge in developing autonomous robotic systems that can be successfully deployed in real-world scenarios. In this work, we explore the challenges of deformable object manipulation through the task of sculpting clay into 3D shapes. We propose the first coarse-to-fine autonomous sculpting system in which the sculpting agent first selects how many and where to place discrete chunks of clay into the workspace to create a coarse shape, and then iteratively refines the shape with sequences of deformation actions. We leverage large language models for sub-goal generation, and train a point cloud region-based action model to predict robot actions from the desired point cloud sub-goals. Additionally, our method is the first autonomous sculpting system that is a real-world text-to-3D shaping pipeline without any explicit 3D goals or sub-goals provided to the system. We demonstrate our method is able to successfully create a set of simple shapes solely from text-based prompting. Furthermore, we explore rigorously how to best quantify success for the text-to-3D sculpting task, and compare existing text-image and text-point cloud similarity metrics to human evaluations for this task. For experimental videos, human evaluation details, and full prompts, please see our project website: https://sites.google.com/andrew.cmu.edu/hierarchicalsculpting
関連論文
- 変形可能な線状物体のキーポイント位置決めに対する強化学習の実証研究変形物体マニピュレーション
- 自律マニピュレーションのためのライブ糸再構成変形物体マニピュレーション
- ClothAtlas: 自己遮蔽下での衣服の同定と状態推定の同時実行変形物体マニピュレーション
- 狙って叩け:方向条件付き変形可能線状物体の動的マニピュレーション変形物体マニピュレーション
- FoldNet++:ロボットによるTシャツ折り畳み・展開のための大規模合成データセット変形物体マニピュレーション
- 非無視可能なダイナミクスを持つ変形可能な線状物体の自己教師あり物理情報マニピュレーション変形物体マニピュレーション
