DreamMimic: ワールドモデルによる視覚運動全身ロコマニピュレーションの学習
DreamMimic: Learning Visuomotor Whole-Body Loco-Manipulation via World Model
ヒューマノイドロボットの視覚ベース全身ロコマニピュレーションを、ワールドモデル支援蒸留により学習するフレームワークを提案。特権教師ポリシーを視覚ベースの学生ポリシーに蒸留し、予測潜在ダイナミクスと補助予測ヘッド、適応蒸留スケジュールを導入して性能を向上させた。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jie Yin, Xingyu Lai
分類: cs.RO
原文アブストラクト
Vision-based whole-body loco-manipulation on humanoid robots is challenging due to partial observability, contact-rich dynamics, and the difficulty of learning long-horizon behaviors from high-dimensional visual inputs. We present \href{https://github.com/DreamMimic/DreamMimic}{DreamMimic}, a framework that distills privileged teacher policies into vision-based humanoid controllers via world-model-assisted distillation. Instead of using a Dreamer-style RSSM for planning, we repurpose it to learn predictive latent dynamics that serve as both a representation space and an action-conditioned multi-step supervision signal, while exposing compact predictive features to the student policy to reduce long-term drift. Beyond standard reconstruction objectives for proprioceptive and visual observations, we add auxiliary prediction heads for privileged state, contact, object state, and reward estimation. These heads provide additional supervision related to agent--object interaction and task progress, encouraging the latent representation to retain signals that are useful for contact-rich loco-manipulation. We further introduce Performance-Conditioned Guidance (PCG), a reward-driven adaptive distillation schedule that computes performance scores for both teacher and student to dynamically balance guidance and exploration. PCG prevents both premature teacher annealing and excessive teacher interference in challenging visual settings. Experiments on OMOMO and BEHAVE show improved tracking-based loco-manipulation performance over strong vision-based baselines, without exposing online privileged interaction states to the student at deployment. Qualitative simulations further examine morphology and simulator changes. These results suggest that world models can provide a useful mechanism for stabilizing visual policy distillation in contact-rich humanoid behaviors.
関連論文
- 四足ロボットのラストマイル把持ナビゲーションのための統合方策学習モデルロコマニピュレーション
- 凍結した歩行ポリシー下での異種歩行ダイナミクスのオンライン学習による高精度ロコマニピュレーションロコマニピュレーション
- フェーズ条件付き方策最適化による多段階ロコマニピュレーションの学習ロコマニピュレーション
- ヒューマノイドの地平線:並列訓練・動的開始・報酬ゲーティングによる全身ロコマニピュレーションのタスク時間拡張ロコマニピュレーション
- HULK: ヒューマノイドの全身力強いロコマニピュレーション学習ロコマニピュレーション
- 接触を決定変数とする:脚式ロコマニピュレーションのための能力トレードオフ接触選択ロコマニピュレーション
