日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2510.03706

EmbodiSwap:ゼロショットロボット模倣学習のための身体置換

EmbodiSwap for Zero-Shot Robot Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画にロボットのCGオーバーレイを合成し、V-JEPAを視覚バックボーンに用いることで、実機ロボットのゼロショット模倣学習を実現した研究。

詳しい要約

1. どんなもの?

- 人間の動画からロボット模擬データを生成する EmbodiSwap を提案する研究 - 一人称視点の in-the-wild な人間動画に photorealistic な合成ロボットを重ねる - 生成データで closed-loop なロボット操作 policy を学習 - zero-shot imitation learning により embodiment gap を橋渡しする - V-JEPA を視覚バックボーンとして転用し、合成ロボット動画での模倣学習に用いる - コード・合成データセット・checkpoint を公開予定

2. 先行研究と比べてどこがすごい?

- 従来は人間動画とロボット embodiment のギャップが問題だったが、EmbodiSwap で合成ロボット overlay を生成し橋渡しする - V-JEPA を video understanding から imitation learning へ転用した点が新しい - V-JEPA はロボティクスで従来使われる視覚バックボーンを上回る - 実世界テストで zero-shot 学習の V-JEPA が 82% の成功率を達成 - few-shot 学習の π0 を上回る - EmbodiSwap データで学習した π0 も上回る

3. 技術・手法の肝は?

- 入力: 人間動画と任意のロボット URDF - 出力: photorealistic な合成ロボット overlay 付きのロボットデータセット - この合成データ上で closed-loop なロボット操作 policy を学習 - 視覚バックボーンに V-JEPA を採用し、動画理解から模倣学習へ repurpose - 詳細なアーキテクチャや学習手順は要旨からは不明

4. どうやって有効だと検証した?

- 実世界テストで評価 - zero-shot 学習した V-JEPA モデルが 82% の成功率 - 比較対象: - few-shot 学習した π0 ネットワーク - EmbodiSwap の生成データで学習した π0 - これらの比較で V-JEPA モデルが上回ることを示す - データセットは EPIC-Kitchens、HOI4D、Ego4D 上で合成

5. 議論はある?

- 合成ロボット overlay の photorealistic 品質や embodiment gap の残存可能性は要旨からは不明 - V-JEPA が優位な理由の分析は要旨からは不明 - 実世界テストの設定・タスク・被験者数などの詳細は要旨からは不明 - 限界や失敗事例の議論は要旨からは不明

6. 次に読むべき論文は?

- π0 (比較対象の few-shot 学習ベースライン) - V-JEPA (視覚バックボーンとして転用) - EPIC-Kitchens、HOI4D、Ego4D (合成に用いたデータセット) - 関連する zero-shot imitation learning や embodiment gap の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Eadom Dessalene, Pavan Mantripragada, Michael Maynord, Yiannis Aloimonos

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

We introduce EmbodiSwap - a method for producing photorealistic synthetic robot overlays over human video. We employ EmbodiSwap for zero-shot imitation learning, bridging the embodiment gap between in-the-wild ego-centric human video and a target robot embodiment. We train a closed-loop robot manipulation policy over the data produced by EmbodiSwap. We make novel use of V-JEPA as a visual backbone, repurposing V-JEPA from the domain of video understanding to imitation learning over synthetic robot videos. Adoption of V-JEPA outperforms alternative vision backbones more conventionally used within robotics. In real-world tests, our zero-shot trained V-JEPA model achieves an $82\%$ success rate, outperforming a few-shot trained $\pi_0$ network as well as $\pi_0$ trained over data produced by EmbodiSwap. We release (i) code for generating the synthetic robot overlays which takes as input human videos and an arbitrary robot URDF and generates a robot dataset, (ii) the robot dataset we synthesize over EPIC-Kitchens, HOI4D and Ego4D, and (iii) model checkpoints and inference code, to facilitate reproducible research and broader adoption.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI