動画からのヒューマノイド模倣学習のための直接動的リターゲティング
Direct Dynamic Retargeting for Humanoid Imitation Learning from Videos
単眼ビデオからヒューマノイドの模倣学習を行う際、従来の幾何学的リターゲティングが持つバイアスを排除し、物理シミュレータ内で直接動的軌道を生成する新しいフレームワークを提案した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Constant Roux, Ludovic De Matteïs, Armand Jordana, Valentin Guillet, Nicolas Mansard, Olivier Stasse, Philippe Souères
分類: cs.RO
原文アブストラクト
Imitation Learning from monocular video demonstrations provides a scalable approach for teaching complex skills to humanoid robots. However, translating human motion to humanoids requires overcoming significant morphological mismatches. Standard approaches rely on Geometric Retargeting or Indirect Dynamic Retargeting pipelines. We identify that these intermediate kinematic projections introduce a geometric bias, restricting the search space and yielding suboptimal dynamic behaviors. In this paper, we propose Direct Dynamic Retargeting (DDR), a novel single-stage framework that generates high-fidelity, dynamically feasible trajectories directly from expert videos. By formulating the problem in the task space and leveraging a sampling-based Model Predictive Control solver within a physics simulator, DDR natively optimizes over complex contact sequences while mitigating input drift. Our experiments demonstrate that bypassing the geometric bias allows DDR to outperform state-of-the-art baselines in demonstration tracking accuracy. Furthermore, we establish that providing such physically viable references to RL agents accelerates training convergence and enhances the final execution of agile and balancing behaviors. Source code will be made publicly available.
関連論文
- InterReal: 人間と物体のインタラクションスキル学習のための統一物理ベース模倣フレームワーク模倣学習/ヒューマノイド
- GBC: 全身ヒューマノイド模倣のための汎用行動クローニングフレームワーク模倣学習/ヒューマノイド
- OKAMI: 単一動画の模倣によるヒューマノイドロボットの操作スキル学習模倣学習/ヒューマノイド
