日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2510.08475

DexMan: 人間と生成動画から両手巧みな操作を学習

DexMan: Learning Bimanual Dexterous Manipulation from Human and Generated Videos

シェア:XThreadsFacebookLINEはてブBluesky

第三者視点の人間動画から、ヒューマノイドロボットの両手巧みな操作スキルを自動生成するフレームワーク。接触ベース報酬でノイズの多い手・物体姿勢からも方策学習を改善する。

詳しい要約

1. どんなもの?

- 人間の第三者視点動画から、humanoid robot の bimanual dexterous manipulation スキルを simulation 上で自動獲得するフレームワーク DexMan を提案 - 入力は剛体物体を操作する人間の動画のみで、camera calibration・depth sensor・3D object asset の走査・hand/object motion の正解アノテーションを不要とする - 実動画と合成動画の双方からスキル生成でき、大規模で多様なデータセット構築による generalist dexterous manipulation の学習を可能にする

2. 先行研究と比べてどこがすごい?

- 従来手法が simplified floating hands のみを扱うのに対し、humanoid robot 本体を直接制御する点が異なる - in-the-wild 動画から推定したノイズを含む hand-object pose に対処するため、contact-based rewards を導入して policy learning を改善 - 物体 pose 推定で TACO benchmark の state-of-the-art を達成し、ADD-S で 0.08、VSD で 0.12 の絶対改善 - OakInk-v2 において reinforcement learning policy の success rate が先行手法を 19% 上回る

3. 技術・手法の肝は?

- 第三者視点の人間動画から hand-object pose を推定し、humanoid robot の bimanual dexterous manipulation スキルへ変換する自動パイプライン - camera calibration・depth・3D asset・正解モーション注釈を必要としない設計 - 推定 pose のノイズに対処するため、contact-based rewards を reinforcement learning に組み込む点が肝 - 実動画と合成動画の両方を入力として扱える

4. どうやって有効だと検証した?

- 物体 pose 推定を TACO benchmark で評価し、ADD-S と VSD で state-of-the-art を達成(絶対改善 0.08 / 0.12) - reinforcement learning policy を OakInk-v2 で評価し、success rate が先行手法比 19% 向上 - 実動画・合成動画の双方からスキル生成できることを示す(詳細な実験設定は要旨からは不明)

5. 議論はある?

- 要旨からは不明 - ただし in-the-wild 動画由来の hand-object pose 推定ノイズへの対処が contact-based rewards の動機として示されている - 実動画と合成動画の利用可能性、および大規模データセット構築への波及が述べられている

6. 次に読むべき論文は?

- TACO benchmark に関する研究(物体 pose 推定の比較対象) - OakInk-v2 に関する研究(policy 評価の比較対象) - simplified floating hands を扱う先行 dexterous manipulation 研究 - human video からの manipulation skill 獲得に関する関連研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jhen Hsieh, Kuan-Hsun Tu, Kuo-Han Hung, Tsung-Wei Ke

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

We present DexMan, an automated framework that converts human visual demonstrations into bimanual dexterous manipulation skills for humanoid robots in simulation. Operating directly on third-person videos of humans manipulating rigid objects, DexMan eliminates the need for camera calibration, depth sensors, scanned 3D object assets, or ground-truth hand and object motion annotations. Unlike prior approaches that consider only simplified floating hands, it directly controls a humanoid robot and leverages novel contact-based rewards to improve policy learning from noisy hand-object poses estimated from in-the-wild videos. DexMan achieves state-of-the-art performance in object pose estimation on the TACO benchmark, with absolute gains of 0.08 and 0.12 in ADD-S and VSD. Meanwhile, its reinforcement learning policy surpasses previous methods by 19% in success rate on OakInk-v2. Furthermore, DexMan can generate skills from both real and synthetic videos, without the need for manual data collection and costly motion capture, and enabling the creation of large-scale, diverse datasets for training generalist dexterous manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI