日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

把持arXiv:2603.05312

UltraDexGrasp: 合成データによる双腕ロボットの汎用器用把持の学習

UltraDexGrasp: Learning Universal Dexterous Grasping for Bimanual Robots with Synthetic Data

シェア:XThreadsFacebookLINEはてブBluesky

双腕ロボットのための多戦略・器用な把持を実現するフレームワークを提案し、大規模合成データセットと単純なポリシーでゼロショットの実機転送に成功した。

詳しい要約

1. どんなもの?

- 両手ロボットによる汎用巧み把持(universal dexterous grasping)のためのフレームワーク UltraDexGrasp を提案。 - 最適化ベースの把持合成と計画ベースのデモ生成を統合したデータ生成パイプラインを構築。 - 1,000物体・2,000万フレームからなる大規模多戦略把持データセット UltraDexGrasp-20M を公開。 - 点群入力から片方向 attention で特徴集約し制御指令を予測する把持 policy を開発。 - 合成データのみで学習し、zero-shot sim-to-real 転移を実現、実世界で平均成功率 81.2%。

2. 先行研究と比べてどこがすごい?

- 従来は parallel-gripper や単腕ハンドの把持が中心で、両手ロボットの巧みな把持は未開拓。 - 両手巧み把持ではデータ不足が主要なボトルネックだった。 - 物理的に妥当で幾何学的に適合し、外部 wrench に耐える把持の実現が困難だった。 - 本研究はデータ生成パイプラインと大規模データセットを提供し、多戦略把持を可能にした点が新しい。 - 合成データのみで zero-shot sim-to-real を達成し、実世界で高い成功率を示した点が先行研究と異なる。

3. 技術・手法の肝は?

- 最適化ベースの把持合成と計画ベースのデモ生成を組み合わせたデータ生成パイプライン。 - 複数の把持戦略にわたる高品質で多様な軌道を生成。 - 1,000物体・2,000万フレームの UltraDexGrasp-20M を構築。 - 把持 policy は点群を入力とし、unidirectional attention でシーン特徴を集約。 - 集約特徴から制御コマンドを予測するシンプルかつ効果的な構成。

4. どうやって有効だと検証した?

- UltraDexGrasp-20M を用いて把持 policy を学習。 - 合成データのみで学習し、zero-shot sim-to-real 転移を検証。 - 実世界で形状・サイズ・重量の異なる新規物体に対して連続的に成功。 - 実世界の汎用巧み把持で平均成功率 81.2% を達成。 - データ生成パイプラインをオープンソース化し再現性に貢献。

5. 議論はある?

- 両手巧み把持におけるデータ不足の解決を目指す。 - 物理的妥当性と幾何学的適合性、外部 wrench への耐性が課題として挙げられている。 - 合成データのみで実世界に転移できることを示したが、限界や失敗事例の詳細は要旨からは不明。 - 多戦略把持の評価や他手法との比較の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として parallel-gripper grasping、single-hand dexterous grasping、bimanual dexterous grasping の研究が挙げられる。 - データ生成や sim-to-real 転移に関連する一般的な手法(optimization-based grasp synthesis、planning-based demonstration generation、unidirectional attention)も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sizhe Yang, Yiman Xie, Zhixuan Liang, Yang Tian, Jia Zeng, Dahua Lin, Jiangmiao Pang

分類: cs.RO

原文アブストラクト

Grasping is a fundamental capability for robots to interact with the physical world. Humans, equipped with two hands, autonomously select appropriate grasp strategies based on the shape, size, and weight of objects, enabling robust grasping and subsequent manipulation. In contrast, current robotic grasping remains limited, particularly in multi-strategy settings. Although substantial efforts have targeted parallel-gripper and single-hand grasping, dexterous grasping for bimanual robots remains underexplored, with data being a primary bottleneck. Achieving physically plausible and geometrically conforming grasps that can withstand external wrenches poses significant challenges. To address these issues, we introduce UltraDexGrasp, a framework for universal dexterous grasping with bimanual robots. The proposed data-generation pipeline integrates optimization-based grasp synthesis with planning-based demonstration generation, yielding high-quality and diverse trajectories across multiple grasp strategies. With this framework, we curate UltraDexGrasp-20M, a large-scale, multi-strategy grasp dataset comprising 20 million frames across 1,000 objects. Based on UltraDexGrasp-20M, we further develop a simple yet effective grasp policy that takes point clouds as input, aggregates scene features via unidirectional attention, and predicts control commands. Trained exclusively on synthetic data, the policy achieves robust zero-shot sim-to-real transfer and consistently succeeds on novel objects with varied shapes, sizes, and weights, attaining an average success rate of 81.2% in real-world universal dexterous grasping. To facilitate future research on grasping with bimanual robots, we open-source the data generation pipeline at https://github.com/InternRobotics/UltraDexGrasp.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI