日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2604.15805

見ることからシミュレーションへ:デジタルいとこによる高忠実度生成シミュレーションで汎用ロボット学習と評価を実現

From Seeing to Simulating: Generative High-Fidelity Simulation with Digital Cousins for Generalizable Robot Learning and Evaluation

シェア:XThreadsFacebookLINEはてブBluesky

実世界のパノラマ画像から高忠実度のシミュレーションシーンを生成し、さらに多様な「デジタルいとこ」シーンを合成することで、ロボットの汎用学習と評価を効率化する生成フレームワークを提案した。

詳しい要約

1. どんなもの?

- 実世界のpanoramaから高忠実度simulation sceneを生成するgenerative framework。 - real-to-sim mappingを確立し、semantic/geometric editingで多様なcousin scenesを合成。 - 高品質physics engineとrealistic assetsを組み合わせ、interactive manipulation tasksを支援。 - multi-room stitchingで大規模環境を構築し、long-horizon navigationを可能にする。 - sim-to-real correlationを検証し、data generationの拡大がgeneralizationを向上させることを示す。

2. 先行研究と比べてどこがすごい?

- 従来のreal-world data collectionは物理的資産の取得と環境再構成にコストがかかる。 - 既存のsimulation augmentationと比べ、panoramaからのgenerative real-to-sim mappingを提案。 - semantic/geometric editingでcousin scenesを合成し、多様性を確保。 - multi-room stitchingで大規模環境を構築し、long-horizon navigationを実現。 - 広範なdata generationがunseen scene/object variationsへのgeneralizationを大幅に改善することを示す。

3. 技術・手法の肝は?

- real-world panoramasから高忠実度simulation scenesへのgenerative real-to-sim mapping。 - semantic editingとgeometric editingにより多様なcousin scenesを合成。 - 高品質physics enginesとrealistic assetsを統合し、interactive manipulationを支援。 - multi-room stitchingで一貫した大規模環境を構築。 - これによりlong-horizon navigation across complex layoutsを可能にする。

4. どうやって有効だと検証した?

- 実験でstrong sim-to-real correlationを検証し、platformのfidelityを確認。 - data generationを大幅に拡大することで、unseen scene and object variationsへのgeneralizationが有意に向上。 - Digital Cousinsがgeneralizable robot learning and evaluationに有効であることを示す。 - 具体的な評価指標やベースラインは要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、domain randomization、sim-to-real transfer、procedural generation、digital twin、real-to-sim translationなどの関連手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jasper Lu, Zhenhao Shen, Yuanfei Wang, Shugao Liu, Shengqiang Xu, Shawn Xie, Jingkai Xu, Feng Jiang, Jade Yang, Chen Xie, Ruihai Wu

分類: cs.RO, cs.AI

原文アブストラクト

Learning robust robot policies in real-world environments requires diverse data augmentation, yet scaling real-world data collection is costly due to the need for acquiring physical assets and reconfiguring environments. Therefore, augmenting real-world scenes into simulation has become a practical augmentation for efficient learning and evaluation. We present a generative framework that establishes a generative real-to-sim mapping from real-world panoramas to high-fidelity simulation scenes, and further synthesize diverse cousin scenes via semantic and geometric editing. Combined with high-quality physics engines and realistic assets, the generated scenes support interactive manipulation tasks. Additionally, we incorporate multi-room stitching to construct consistent large-scale environments for long-horizon navigation across complex layouts. Experiments demonstrate a strong sim-to-real correlation validating our platform's fidelity, and show that extensively scaling up data generation leads to significantly better generalization to unseen scene and object variations, demonstrating the effectiveness of Digital Cousins for generalizable robot learning and evaluation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI