マニピュレーション2026/2/1arXiv:2602.09013

RGB人間動画からの3D手-物体軌道再構成による巧みな操作ポリシー

Dexterous Manipulation Policies from RGB Human Videos via 3D Hand-Object Trajectory Reconstruction

単眼RGB動画から人間の手と物体の3D軌道を再構成し、ロボットハンドへ転移することで、特別な装置なしに巧みな操作ポリシーを学習するフレームワークを提案。

詳しい要約

1. どんなもの？

- RGB人間動画から直接器用な操作を学習する装置不要フレームワークVIDEOMANIPを提案。 - 単眼動画から人間の手姿勢・物体メッシュを推定し、3Dロボット-物体軌道を再構成。 - 再構成した人間動作をロボットハンドにretargetし、操作学習に利用。 - シミュレーションと実世界の両方で評価。

2. 先行研究と比べてどこがすごい？

- 従来はウェアラブルデバイスや専用センシング機器によるteleoperationでデータ収集し、拡張性が限定。 - VIDEOMANIPはデバイス不要でRGB動画のみから学習可能。 - 実世界でretargetingベース手法を15.87%上回る成功率を達成。

3. 技術・手法の肝は？

- 単眼RGB動画から人間の手姿勢と物体メッシュを推定し、3Dロボット-物体軌道を再構成。 - 再構成した人間動作をロボットハンドにretarget。 - hand-object contact optimizationとinteraction-centric grasp modelingを導入。 - 単一動画から多様な訓練軌道を生成するdemonstration synthesis strategyを採用。

4. どうやって有効だと検証した？

- シミュレーションでInspire Handを用い、20種類の物体で70.25%の把持成功率。 - 実世界でLEAP Handを用い、7タスクで平均62.86%の操作成功率。 - retargetingベース手法と比較し15.87%上回る。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてteleoperation、retargeting-based methods、hand-object contact optimization、interaction-centric grasp modelingが挙げられる。 - 同分野の定番としてdexterous manipulation、grasping、human-to-robot transferの研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongyi Chen, Tony Dong, Tiancheng Wu, Liquan Wang, Yash Jangir, Yaru Niu, Yufei Ye, Homanga Bharadhwaj, Zackory Erickson, Jeffrey Ichnowski

分類: cs.RO, cs.CV

原文アブストラクト

Multi-finger robotic hand manipulation and grasping are challenging due to the high-dimensional action space and the difficulty of acquiring large-scale training data. Existing approaches largely rely on human teleoperation with wearable devices or specialized sensing equipment to capture hand-object interactions, which limits scalability. In this work, we propose VIDEOMANIP, a device-free framework that learns dexterous manipulation directly from RGB human videos. Leveraging recent advances in computer vision, VIDEOMANIP reconstructs explicit 3D robot-object trajectories from monocular videos by estimating human hand poses, object meshes, and retargets the reconstructed human motions to robotic hands for manipulation learning. To make the reconstructed robot data suitable for dexterous manipulation training, we introduce hand-object contact optimization with interaction-centric grasp modeling, as well as a demonstration synthesis strategy that generates diverse training trajectories from a single video, enabling generalizable policy learning without additional robot demonstrations. In simulation, the learned grasping model achieves a 70.25% success rate across 20 diverse objects using the Inspire Hand. In the real world, manipulation policies trained from RGB videos achieve an average 62.86% success rate across seven tasks using the LEAP Hand, outperforming retargeting-based methods by 15.87%. Project videos are available at videomanip.github.io.

arXivで原文を読む →arXiv概要ページ

RGB人間動画からの3D手-物体軌道再構成による巧みな操作ポリシー

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

MINISFORUM（ミニPC）

双腕モバイルマニピュレーター OpenShell