PokeFlex: ロボットマニピュレーションのための実世界変形物体データセット
PokeFlex: Towards a Real-World Dataset of Deformable Objects for Robotic Manipulation
ロボットアームで柔らかい物体をつついて変形させ、その3Dメッシュと力・トルクを360度ボリュームキャプチャで記録した実世界データセットを構築し、単一画像からの3Dメッシュ再構成モデルの学習に応用した。
著者: Jan Obrist, Miguel Zamora, Hehui Zheng, Juan Zarate, Robert K. Katzschmann, Stelian Coros
分類: cs.RO
原文アブストラクト
Advancing robotic manipulation of deformable objects can enable automation of repetitive tasks across multiple industries, from food processing to textiles and healthcare. Yet robots struggle with the high dimensionality of deformable objects and their complex dynamics. While data-driven methods have shown potential for solving manipulation tasks, their application in the domain of deformable objects has been constrained by the lack of data. To address this, we propose PokeFlex, a pilot dataset featuring real-world 3D mesh data of actively deformed objects, together with the corresponding forces and torques applied by a robotic arm, using a simple poking strategy. Deformations are captured with a professional volumetric capture system that allows for complete 360-degree reconstruction. The PokeFlex dataset consists of five deformable objects with varying stiffness and shapes. Additionally, we leverage the PokeFlex dataset to train a vision model for online 3D mesh reconstruction from a single image and a template mesh. We refer readers to the supplementary material and to our website ( https://pokeflex-dataset.github.io/ ) for demos and examples of our dataset.
関連論文
- 変形可能な線状物体のキーポイント位置決めに対する強化学習の実証研究変形物体マニピュレーション
- 自律マニピュレーションのためのライブ糸再構成変形物体マニピュレーション
- ClothAtlas: 自己遮蔽下での衣服の同定と状態推定の同時実行変形物体マニピュレーション
- 狙って叩け:方向条件付き変形可能線状物体の動的マニピュレーション変形物体マニピュレーション
- FoldNet++:ロボットによるTシャツ折り畳み・展開のための大規模合成データセット変形物体マニピュレーション
- 非無視可能なダイナミクスを持つ変形可能な線状物体の自己教師あり物理情報マニピュレーション変形物体マニピュレーション
