日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2507.05198

EmbodieDreamer: 身体性ワールドモデリングによるReal2Sim2Real転送の促進

EmbodieDreamer: Advancing Real2Sim2Real Transfer for Policy Training via Embodied World Modeling

シェア:XThreadsFacebookLINEはてブBluesky

物理パラメータ最適化と動画拡散モデルでシミュレーションと実世界のギャップを埋め、ロボット政策学習を高精度化するフレームワークを提案。

詳しい要約

1. どんなもの?

- Embodied AI 向けの Real2Sim2Real 転送フレームワーク EmbodieDreamer を提案 - 実世界データ収集の高コスト・非効率を背景に、simulation 環境を policy 学習の代替とする - 課題である Real2Sim2Real gap を物理と見た目の両面から縮小する - 物理側の PhysAligner と視覚側の VisAligner の2モジュールで構成 - 実世界タスクでの reinforcement learning による policy 学習を対象とする

2. 先行研究と比べてどこがすごい?

- 従来は Real2Sim2Real gap が物理ダイナミクスと視覚外観の両面で大きなボトルネック - PhysAligner は simulated annealing 法と比較し物理パラメータ推定誤差を 3.74% 低減 - 同比較で最適化速度を 89.91% 向上 - VisAligner により低忠実度の simulation 描画を photorealistic な動画へ変換可能 - 生成した photorealistic 環境での policy 学習で実世界タスクの平均成功率が 29.17% 改善

3. 技術・手法の肝は?

- PhysAligner: 微分可能な物理モジュールで Real2Sim の物理ギャップを低減 - control gains や摩擦係数など robot 固有パラメータを同時最適化 - 実世界観測に simulated dynamics を整合させる - VisAligner: 条件付き video diffusion model を導入 - simulation 状態を条件に低忠実度描画を photorealistic 動画へ変換 - Sim2Real の見た目ギャップを橋渡しし高忠実度の視覚転送を実現

4. どうやって有効だと検証した?

- 広範な実験で EmbodieDreamer の有効性を検証 - PhysAligner の物理パラメータ推定誤差を simulated annealing 法と比較評価 - 最適化速度の比較評価も実施 - 生成した photorealistic 環境で robot policy を reinforcement learning により学習 - 実世界タスク群で平均タスク成功率を評価し改善を確認

5. 議論はある?

- 要旨からは不明 - ただし Real2Sim2Real gap を物理と外観の両面から扱う点が中心的論点 - PhysAligner と VisAligner の個別寄与や限界については要旨からは不明 - 実世界タスクの範囲や汎化性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- simulated annealing 法(PhysAligner の比較対象) - conditional video diffusion model を用いた Sim2Real 視覚転送の関連研究 - differentiable physics を用いた Real2Sim パラメータ同定の関連研究 - Real2Sim2Real 転送や embodied world modeling の同分野研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Boyuan Wang, Xinpan Meng, Xiaofeng Wang, Zheng Zhu, Angen Ye, Yang Wang, Zhiqin Yang, Chaojun Ni, Guan Huang, Xingang Wang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

The rapid advancement of Embodied AI has led to an increasing demand for large-scale, high-quality real-world data. However, collecting such embodied data remains costly and inefficient. As a result, simulation environments have become a crucial surrogate for training robot policies. Yet, the significant Real2Sim2Real gap remains a critical bottleneck, particularly in terms of physical dynamics and visual appearance. To address this challenge, we propose EmbodieDreamer, a novel framework that reduces the Real2Sim2Real gap from both the physics and appearance perspectives. Specifically, we propose PhysAligner, a differentiable physics module designed to reduce the Real2Sim physical gap. It jointly optimizes robot-specific parameters such as control gains and friction coefficients to better align simulated dynamics with real-world observations. In addition, we introduce VisAligner, which incorporates a conditional video diffusion model to bridge the Sim2Real appearance gap by translating low-fidelity simulated renderings into photorealistic videos conditioned on simulation states, enabling high-fidelity visual transfer. Extensive experiments validate the effectiveness of EmbodieDreamer. The proposed PhysAligner reduces physical parameter estimation error by 3.74% compared to simulated annealing methods while improving optimization speed by 89.91\%. Moreover, training robot policies in the generated photorealistic environment leads to a 29.17% improvement in the average task success rate across real-world tasks after reinforcement learning. Code, model and data will be publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI