EgoHumanoid：ロボット不要の一人称デモで実世界ロコマニピュレーションを実現
EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration
人間の一人称視点デモと少量のロボットデータを共訓練し、視点・動作のずれを補正することで、ヒューマノイドの実世界ロコマニピュレーション性能を51%向上させた。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Modi Shi, Shijia Peng, Jin Chen, Haoran Jiang, Tianyu Li, Di Huang, Ping Luo, Hongyang Li, Li Chen
分類: cs.RO
原文アブストラクト
Human demonstrations offer rich environmental diversity and scale naturally, making them an appealing alternative to robot teleoperation. While this paradigm has advanced robot-arm manipulation, its potential for the more challenging, data-hungry problem of humanoid loco-manipulation remains largely unexplored. We present EgoHumanoid, the first framework to co-train a vision-language-action policy using abundant egocentric human demonstrations together with a limited amount of robot data, enabling humanoids to perform loco-manipulation across diverse real-world environments. To bridge the embodiment gap between humans and robots, including discrepancies in physical morphology and viewpoint, we introduce a systematic alignment pipeline spanning from hardware design to data processing. A portable system for scalable human data collection is developed, and we establish practical collection protocols to improve transferability. At the core of our human-to-humanoid alignment pipeline lies two key components. The view alignment reduces visual domain discrepancies caused by camera height and perspective variation. The action alignment maps human motions into a unified, kinematically feasible action space for humanoid control. Extensive real-world experiments demonstrate that incorporating robot-free egocentric data significantly outperforms robot-only baselines by 51\%, particularly in unseen environments. Our analysis further reveals which behaviors transfer effectively and the potential for scaling human data.
関連論文
- 四足ロボットのラストマイル把持ナビゲーションのための統合方策学習モデルロコマニピュレーション
- 凍結した歩行ポリシー下での異種歩行ダイナミクスのオンライン学習による高精度ロコマニピュレーションロコマニピュレーション
- フェーズ条件付き方策最適化による多段階ロコマニピュレーションの学習ロコマニピュレーション
- ヒューマノイドの地平線：並列訓練・動的開始・報酬ゲーティングによる全身ロコマニピュレーションのタスク時間拡張ロコマニピュレーション
- HULK: ヒューマノイドの全身力強いロコマニピュレーション学習ロコマニピュレーション
- 接触を決定変数とする：脚式ロコマニピュレーションのための能力トレードオフ接触選択ロコマニピュレーション
