EgoWAM: 実世界の自己中心視点データによるピクセルを超えた世界行動モデル
EgoWAM: World Action Models Beyond Pixels with In-the-Wild Egocentric Human Data
自己中心視点の人間データからロボット操作を学習する際、世界の変化を予測する「世界行動モデル」の訓練信号として、ピクセルではなくDINO特徴や3Dフローを用いることで、人間からロボットへの転移性能が向上することを示した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Baoyu Li, Xinchen Yin, Mengying Lin, Yixin Zhang, Danfei Xu
分類: cs.RO, cs.AI
原文アブストラクト
Egocentric human data offers scalable supervision for robot manipulation. However, behavior cloning entangles transferable content like objects, scenes, and task semantics, with non-transferable factors like human morphology, head motion, and behavioral style. We study whether World Action Models (WAMs) provide a better training signal by requiring policies to predict not only actions, but also how the scene evolves. The central question is what world representation best enables human-to-robot transfer. We hypothesize that an effective world target should abstract appearance, capture agent-invariant physical effects, and separate camera motion from environment change. We introduce EgoWAM, a controlled human-robot co-training framework that fixes the policy backbone, action head, and data mixture while varying only the world prediction target, comparing Pixel, DINO, and 3D motion flow. Across three real-world bimanual tasks, WAM co-training scales more effectively with in-the-wild egocentric human data than behavior cloning. Pixel-based prediction transfers weakly, while DINO and 3D flow yield substantial gains: DINO improves out-of-distribution object and scene generalization by up to 4x, and 3D flow improves in-domain performance by 20-30%. More details: https://gatech-rl2.github.io/egowam.github.io
関連論文
- キーポーズ探索：効率的な自動軌道ラベリングとクロスエンボディメントポリシー転送模倣学習/転移学習
- データの類推が効率的な異種ロボット間転移を可能にする模倣学習/転移学習
