日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2611.21908

人間動画から両手巧緻マニピュレーションのデータへ:信頼度誘導型RLによる動画事前分布の精緻化

From Human Videos to Bimanual Dexterous Manipulation Data: Confidence-Guided RL Refinement of Video Priors

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画から得た動作の事前情報を、シミュレーション内の強化学習でロボットが実行可能な両手巧緻操作のデモンストレーションに変換するフレームワークPriDexを提案した。物体運動の信頼度に応じて物体軌道と手首軌道のガイダンスを適応的にバランスさせる。

詳しい要約

1. どんなもの?

- 人間の動画から得た prior を、シミュレーション内の reinforcement learning でロボットの bimanual dexterous manipulation 実行可能なデモンストレーションへ変換するフレームワーク PriDex を提案。 - 生成したロボットデモで vision-based diffusion policy を学習させることを狙う。 - pouring、sweeping into a dustpan、bottle-cap unscrewing、plate cleaning の4タスクで評価。

2. 先行研究と比べてどこがすごい?

- 人間動画をロボット訓練データ源として使う際の、video-derived motion estimates の不確実性と human-robot embodiment 差という課題に対処。 - 単純な直接 motion transfer ではなく、task-relevant interaction structure を保ちつつ embodiment-specific behavior を再生成する点が特徴。 - object-motion confidence に応じて prior の重みを適応的に変える仕組みを導入。 - 具体的な先行研究との定量比較は要旨からは不明。

3. 技術・手法の肝は?

- human-object interactions から affordance cues を得て、geometry-based candidates の中からタスク関連かつロボット固有の grasps を選択。 - motion refinement では object trajectories を task-level reference、相対 bimanual wrist trajectories を協調運動の補助 guidance として利用。 - occlusion や visual ambiguity で object-motion estimates が不確実な場合に備え、object-motion confidence で両 prior を適応的にバランス。 - confidence が高いほど object-level guidance を重視し、低いほど wrist-level guidance の寄与を増やす。 - reinforcement learning によりロボットの kinematic/physical constraints 下で prior を精…

4. どうやって有効だと検証した?

- pouring、sweeping into a dustpan、bottle-cap unscrewing、plate cleaning の4つの bimanual dexterous manipulation タスクで評価。 - simulation-based robot data generation と downstream visuomotor policy learning の両面を評価。 - 生成デモで vision-based diffusion policy を訓練し、その性能を検証。 - 具体的な比較手法や指標・結果数値は要旨からは不明。

5. 議論はある?

- object-motion estimates が occlusion や visual ambiguity 下で unreliable になり得る点を明示し、confidence による適応的バランスで対処。 - human と robot の embodiment 差を前提に、interaction structure を保ちつつ behavior を再生成する設計。 - 限界や失敗事例、confidence 推定の感度、sim-to-real の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、human videos を用いた robot learning、video-based motion transfer、reinforcement learning、vision-based diffusion policy、bimanual dexterous manipulation の代表的文献を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanghong Liu, Yang Chen, Kailang Xu, Bang Du, Feiyang Yang, Jiawei Xia, Zhengtao Yao, Yubiao Zhang, Masayoshi Tomizuka, Ruihai Wu, Wei Zhan

分類: cs.RO

原文アブストラクト

Collecting demonstrations for bimanual dexterous manipulation is costly, motivating the use of human videos as a source of robot training data. However, uncertainty in video-derived motion estimates and differences between human and robot embodiments make direct motion transfer challenging. In this work, we introduce PriDex, a framework that transforms human-video Priors into executable robot Dexterous manipulation demonstrations through reinforcement learning in simulation. PriDex preserves task-relevant interaction structure while allowing embodiment-specific behavior to be regenerated for the robot. Human-object interactions provide affordance cues for selecting task-relevant, robot-specific grasps from geometry-based candidates. For motion refinement, object trajectories provide a task-level reference, while relative bimanual wrist trajectories offer complementary guidance for coordinated motion. Since object-motion estimates can become unreliable under occlusion or visual ambiguity, PriDex uses object-motion confidence to adaptively balance these two priors, emphasizing object-level guidance when confidence is high and increasing the contribution of wrist-level guidance as confidence decreases. Reinforcement learning refines these video-derived priors under the robot's kinematic and physical constraints, and the resulting policies are rolled out to generate robot demonstrations for training a vision-based diffusion policy. We evaluate PriDex on four bimanual dexterous manipulation tasks, including pouring, sweeping into a dustpan, bottle-cap unscrewing, and plate cleaning, assessing both simulation-based robot data generation and downstream visuomotor policy learning.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  3. 3川崎重工業のロボット外販を報道新製品・発表
  4. 4Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  5. 5NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI