日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2510.15018

UrbanVerse: 街歩き動画から都市シミュレーションを大規模構築

UrbanVerse: Scaling Urban Simulation by Watching City-Tour Videos

シェア:XThreadsFacebookLINEはてブBluesky

クラウドソースの街歩き動画から物理的に整合した都市3Dシミュレーションを自動生成するシステムを提案し、ナビゲーション方策の学習と実機転移性能を大幅に向上させた。

詳しい要約

1. どんなもの?

- UrbanVerse は、crowd-sourced の city-tour 動画から physics-aware で interactive な urban simulation scene を生成する data-driven な real-to-sim system。 - 構成要素は2つ。 - UrbanVerse-100K: semantic/physical attribute 付きの 100k+ annotated urban 3D asset の repository。 - UrbanVerse-Gen: 動画から scene layout を抽出し、retrieved asset を用いて metric-scale 3D simulation を構築する自動 pipeline。 - IsaacSim 上で動作し、24 か国由来の 160 の高品質 scene と、artist 設計の 10 test scene からなる benchmark を提供。 - 対象は delivery robot や quadruped など urban emb…

2. 先行研究と比べてどこがすごい?

- 既存の human-crafted または procedurally generated な simulation scene は、scalability に欠けるか real-world complexity を捉えられないと位置づけている。 - 本研究は crowd-sourced 動画を入力にすることで、実世界の semantics と layout を保ちつつ scene 構築を自動化・大規模化する点を主張。 - 人手設計 scene と比較して human-evaluated realism で同等水準に達したと報告。 - urban navigation では、UrbanVerse で訓練した policy が scaling power laws と強い generalization を示し、prior methods 比で simulation の success +6.3%、zero-shot sim-to-real transfer で +30.1% 改善。 - 実世界 300 m の mission を 2 回の intervention のみ…

3. 技術・手法の肝は?

- 核は real-to-sim の自動 pipeline UrbanVerse-Gen。 - city-tour 動画から scene layout を抽出する。 - UrbanVerse-100K の annotated 3D asset を retrieval し、metric-scale の 3D simulation として instantiate する。 - asset には semantic attribute と physical attribute が付与されている。 - 生成 scene は IsaacSim 上で physics-aware かつ interactive に動作。 - 詳細な抽出アルゴリズムや asset retrieval の実装は要旨からは不明。

4. どうやって有効だと検証した?

- 24 か国由来の 160 scene と、artist 設計の 10 test scene からなる benchmark を構築。 - human evaluation により、UrbanVerse scene の realism が手作り scene と同等と評価され、real-world semantics/layout が保たれることを確認。 - urban navigation で policy を訓練し、simulation 内 success が prior methods 比 +6.3%。 - zero-shot sim-to-real transfer で +30.1% 改善。 - 実世界 300 m mission を 2 intervention で完遂。 - scaling power laws の検証も実施。

5. 議論はある?

- 要旨では限界や失敗事例の詳細な議論は述べられていない。 - crowd-sourced 動画由来のため、入力動画の coverage や品質への依存、scene の多様性・再現性に関する議論は要旨からは不明。 - physics-aware とされるが、物理属性の精度や sim-to-real gap の定量分析は要旨からは不明。 - 実世界 mission は 2 intervention を要しており、完全自律ではない点は留意。 - 倫理・privacy・データライセンス面の議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される prior methods の原論文(urban navigation の sim-to-real 研究)。 - IsaacSim を用いた embodied AI simulation 研究。 - procedurally generated urban scene の代表的手法。 - real-to-sim / 動画からの 3D scene reconstruction 関連研究。 - sim-to-real transfer と scaling law に関する urban navigation 研究。 - 具体的な論文名は要旨に明記されていないため、上記分野の定番研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingxuan Liu, Honglin He, Elisa Ricci, Wayne Wu, Bolei Zhou

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Urban embodied AI agents, ranging from delivery robots to quadrupeds, are increasingly populating our cities, navigating chaotic streets to provide last-mile connectivity. Training such agents requires diverse, high-fidelity urban environments to scale, yet existing human-crafted or procedurally generated simulation scenes either lack scalability or fail to capture real-world complexity. We introduce UrbanVerse, a data-driven real-to-sim system that converts crowd-sourced city-tour videos into physics-aware, interactive simulation scenes. UrbanVerse consists of: (i) UrbanVerse-100K, a repository of 100k+ annotated urban 3D assets with semantic and physical attributes, and (ii) UrbanVerse-Gen, an automatic pipeline that extracts scene layouts from video and instantiates metric-scale 3D simulations using retrieved assets. Running in IsaacSim, UrbanVerse offers 160 high-quality constructed scenes from 24 countries, along with a curated benchmark of 10 artist-designed test scenes. Experiments show that UrbanVerse scenes preserve real-world semantics and layouts, achieving human-evaluated realism comparable to manually crafted scenes. In urban navigation, policies trained in UrbanVerse exhibit scaling power laws and strong generalization, improving success by +6.3% in simulation and +30.1% in zero-shot sim-to-real transfer comparing to prior methods, accomplishing a 300 m real-world mission with only two interventions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI