日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2505.07096

X-Sim: 実世界からシミュレーションを経由したロボット操作方策のクロスエンボディメント学習

X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real

シェア:XThreadsFacebookLINEはてブBluesky

人間のRGBD動画からフォトリアルなシミュレーションを再構築し、物体軌道を報酬として強化学習方策を訓練、合成データで拡散方策に蒸留して実世界へ転移する枠組みを提案。ロボット遠隔操作データなしで5タスクで成功率を30%改善。

詳しい要約

1. どんなもの?

- 本論文はX-Simとよばれるreal-to-sim-to-realフレームワークを提案している。 - 人間のRGBD動画からフォトリアリスティックなシミュレーションを再構築し、物体の軌道を追跡してobject-centric rewardを定義する。 - そのrewardを用いてシミュレーション内で強化学習(RL)ポリシーを訓練し、画像条件付きdiffusion policyに蒸留する。 - 実世界展開時にオンラインdomain adaptationを行い、実観測とシミュレーション観測を整合させる。 - ロボットのteleoperationデータを一切必要としない。

2. 先行研究と比べてどこがすごい?

- 既存のcross-embodimentアプローチは人間の動きをロボット動作にマッピングするが、embodimentの差異が大きいと失敗しやすい。 - X-Simは物体運動を密で転移可能な信号として利用することで、この問題を回避する。 - ハンドトラッキングやsim-to-realのベースラインと比較して、タスク進捗を平均30%改善する。 - behavior cloningと同等の性能を10分の1のデータ収集時間で達成する。 - 新しいカメラ視点やテスト時の変化にも汎化する。

3. 技術・手法の肝は?

- 人間のRGBD動画からフォトリアリスティックなシミュレーションを再構築する。 - 物体の軌道を追跡し、object-centric rewardを定義する。 - シミュレーション内でRLポリシーを訓練する。 - 訓練したポリシーを、多様な視点・照明でレンダリングした合成ロールアウトを用いて画像条件付きdiffusion policyに蒸留する。 - 実世界展開時にオンラインdomain adaptationを導入し、実観測とシミュレーション観測を整合させる。

4. どうやって有効だと検証した?

- 2つの環境で5つのmanipulationタスクを評価している。 - ハンドトラッキングおよびsim-to-realベースラインと比較して、タスク進捗が平均30%改善することを示した。 - behavior cloningと同等の性能を10分の1のデータ収集時間で達成することを示した。 - 新しいカメラ視点やテスト時の変化への汎化を確認した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究として、hand-trackingベースのcross-embodimentアプローチ、sim-to-realベースライン、behavior cloningが挙げられる。 - 関連手法として、diffusion policy、強化学習(RL)、domain adaptation、object-centric rewardに関する論文が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Prithwish Dan, Kushal Kedia, Angela Chao, Edward Weiyi Duan, Maximus Adrian Pace, Wei-Chiu Ma, Sanjiban Choudhury

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Human videos offer a scalable way to train robot manipulation policies, but lack the action labels needed by standard imitation learning algorithms. Existing cross-embodiment approaches try to map human motion to robot actions, but often fail when the embodiments differ significantly. We propose X-Sim, a real-to-sim-to-real framework that uses object motion as a dense and transferable signal for learning robot policies. X-Sim starts by reconstructing a photorealistic simulation from an RGBD human video and tracking object trajectories to define object-centric rewards. These rewards are used to train a reinforcement learning (RL) policy in simulation. The learned policy is then distilled into an image-conditioned diffusion policy using synthetic rollouts rendered with varied viewpoints and lighting. To transfer to the real world, X-Sim introduces an online domain adaptation technique that aligns real and simulated observations during deployment. Importantly, X-Sim does not require any robot teleoperation data. We evaluate it across 5 manipulation tasks in 2 environments and show that it: (1) improves task progress by 30% on average over hand-tracking and sim-to-real baselines, (2) matches behavior cloning with 10x less data collection time, and (3) generalizes to new camera viewpoints and test-time changes. Code and videos are available at https://portal-cornell.github.io/X-Sim/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI