日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセットarXiv:2606.31836

RoboTacDex: 人型ロボット操作のための器用な視覚-触覚-行動データセット

RoboTacDex: A Dexterous Visual-Tactile-Action Dataset for Humanoid Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人型ロボットUnitree G1を用いて、19タスク・23スキル・22物体にわたる6kの軌跡を含む、視覚・触覚・行動のマルチモーダルデータセットを構築し、模倣学習モデルの評価を行った。

詳しい要約

1. どんなもの?

- 人型ロボット Unitree G1 を用いた巧みな操作の大規模マルチモーダルデータセット RoboTacDex を提案。 - 6k の trajectory、19 タスク、23 スキル、22 物体との相互作用を含む。 - 多視点 RGB・depth、tactile feedback、詳細な semantic annotation を記録。 - 双腕と dexterous hand でしか達成できない比較的難易度の高いタスクを含む。

2. 先行研究と比べてどこがすごい?

- 従来の robot learning 用データセットと比べ、humanoid robot 上で visual・tactile・action を統合した点が特徴。 - 多視点 RGB/depth と tactile feedback を同時に含み、semantic annotation も付与。 - 双腕・巧緻手を要する難タスクを含み、人間らしい操作ロジックと実世界の複雑さを模倣。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は?

- 公開されている humanoid robot Unitree G1 を基盤に使用。 - 改良した multi-camera synchronization system を開発し、millisecond 単位のデータ同期と各モダリティの記録を実現。 - 多視点 RGB・depth、tactile feedback、semantic annotation を包括的に収集。 - 双腕・dexterous hand による難タスクを含むデータ収集を実施。

4. どうやって有効だと検証した?

- 3 つの代表的な imitation learning model をデータセット上で評価。 - タスクカテゴリごとの性能、強み、限界を分析。 - 成功した試行結果と中程度の generalization capability が得られ、データセットの有効性と多様性を示唆。

5. 議論はある?

- 3 つの imitation learning model の性能・強み・限界をタスクカテゴリ別に分析。 - 中程度の generalization capability が確認されたが、その詳細や限界の議論は要旨からは不明。 - データセットは近日中にオープンソース化予定。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別の先行研究は明記されていない。 - 関連手法として、評価に用いられた 3 つの代表的な imitation learning model や、humanoid manipulation 向けの既存 visual-tactile-action データセットが候補。 - 同分野の定番として behavior cloning、ACT、Diffusion Policy などが考えられるが、要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyi Wang, Donghan Li, Zi'Ang Chen, Chong Yu, Chen Xin, Peng Ye, Yingkai Sun, Tao Chen

分類: cs.RO

原文アブストラクト

In the field of robot learning, large-scale and diverse demonstration trajectories provide the fundamental basis for enhancing robotic manipulation ability. We introduce RoboTacDex, a large, multi-modal, and diverse dataset of dexterous manipulation behaviors performed with a humanoid robot. Built on the publicly accessible humanoid robot Unitree G1, RoboTacDex consists of 6k trajectories covering 19 tasks, 23 skills, and interactions with 22 objects. RoboTacDex provides comprehensive records including multi-view RGB and depth information, tactile feedback, and detailed semantic annotations. Furthermore, the dataset features a variety of relatively challenging tasks that can only be completed by dual arms and dexterous hands, aiming to mimic human-like operational logic and simulate real-world manipulation complexity. To ensure data collection quality, we develop an improved multi-camera synchronization system to enable millisecond data synchronization and recording of modalities. In our experiments, we evaluate three representative imitation learning models on our dataset, analyzing their performance as well as their respective strengths and limitations across different task categories. Successful trial results and a moderate level of generalization capabilities across a suite of tasks indicate the effectiveness and diversity of the collected dataset. Our dataset will be open-sourced soon.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI