把握動作生成2026/6/1arXiv:2606.17054

人間の普遍的な把握動作の生成

Human Universal Grasping

スマートグラスで収集した大規模な人間の把握動作データを用いて、任意の物体に対する多様な人間の把握姿勢を生成するフローマッチングモデルを提案し、ロボットハンドへの転用でゼロショット把握を実現した。

詳しい要約

1. どんなもの？

- 人間の自然な把持をモデル化するHUGを提案。 - ステレオカメラのRGB-D画像から任意物体に対する多様な人間把持を生成。 - flow-matchingモデルで、手首の並進・回転・MANO hand poseを出力。 - 1M-HUGsという自我視点データセットを収集（1Mフレーム、27.8時間、6,707物体、41建物）。 - 予測把持を様々なロボットハンドにリターゲットし、ゼロショット把持を実現。 - HUG-Benchというシミュレーションベンチマークも構築。

2. 先行研究と比べてどこがすごい？

- 従来の多指ロボットの把持は汎用性が低い。 - 人間の把持データを大規模に収集し活用する点が新しい。 - 既存の把持ベースラインと比較して、挑戦的な物体セットで+23%および+34%の性能向上。 - ゼロショットで日常環境での把持を可能にした点が優れている。

3. 技術・手法の肝は？

- flow-matchingモデルを採用。 - RGBとdepthの観測を融合して把持分布をモデル化。 - 把持はwrist translation, wrist rotation, MANO hand poseでパラメータ化。 - 予測把持を様々なロボットハンドにリターゲット可能。 - データ収集にはスマートグラスを使用し、自我視点の人間把持を記録。

4. どうやって有効だと検証した？

- 実世界でHUG-Benchの30物体テストセットを用いて評価。 - 複数のステレオカメラ、ロボット embodiment、家庭環境で検証。 - 最先端の把持ベースラインと比較し、+23%と+34%の改善を確認。 - シミュレーションベンチマークHUG-Benchも構築し、90の未見物体で標準化評価。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、flow-matchingに基づく把持生成、MANO hand pose、リターゲティング、ゼロショット把持の研究が挙げられる。 - 同分野の定番として、GraspNet、6-DOF GraspNet、Dex-Netなどが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Humans can grasp objects effortlessly, whereas multi-fingered robots are far from this level of generality. We argue that the most natural source of robot grasping data is from humans, who pick up thousands of objects every day. We present HUG, a flow-matching model that generates diverse human grasps for any user-specified object in a single RGB-D image captured from a stereo camera. Using smart glasses, we first collect 1M-HUGs, an egocentric dataset of human grasps spanning 1M frames (27.8 hrs) and 6,707 object instances across 41 buildings. Next, to model the distribution of natural human grasps, our novel flow-matching model fuses RGB and depth observations to output a grasp parameterized by wrist translation, wrist rotation, and MANO hand pose. Predicted grasps can be retargeted to various robot hands, enabling zero-shot grasping in everyday scenes. To standardize evaluation, we build a new simulated benchmark, HUG-Bench, of 90 unseen objects from five geometric categories and various sizes, with metric-scale 3D meshes. We evaluate HUG in the real world on the 30-object test set of HUG-Bench across multiple stereo cameras, robot embodiments, and household environments. HUG outperforms the state-of-the-art grasping baselines by +23% and +34% on our challenging object set. Code, data, benchmark, checkpoints, and an interactive demo are released on our website: https://grasping.io/

arXivで原文を読む →arXiv概要ページ

← 論文一覧