日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2506.23135

RoboScape: 物理情報を組み込んだ身体性世界モデル

RoboScape: Physics-informed Embodied World Model

シェア:XThreadsFacebookLINEはてブBluesky

RGB動画生成と物理知識を統合して学習する世界モデルを提案し、3D形状や運動ダイナミクスを考慮した物理的に妥当なロボット動画生成を実現した。

詳しい要約

1. どんなもの?

- ロボティクス/embodied intelligence 向けの physics-informed な world model「RoboScape」 - RGB ビデオ生成と物理知識の学習を単一フレームワークで jointly に行う統合モデル - ロボット動画のリアルなシミュレータとして、データ不足の緩和を狙う - 対象は contact-rich なロボットシナリオの動画生成 - コード公開: https://github.com/tsinghua-fib-lab/RoboScape

2. 先行研究と比べてどこがすごい?

- 既存の embodied world model は物理的認識、特に 3D geometry と motion dynamics のモデリングが限定的 - その結果 contact-rich なロボットシナリオで非現実的な動画生成が生じる - RoboScape は物理知識を統合フレームワーク内で jointly に学習することでこれを改善 - 視覚的忠実度と物理的妥当性の両面で優れると主張 - 具体的な比較対象・数値は要旨からは不明

3. 技術・手法の肝は?

- RGB ビデオ生成と物理知識を統合フレームワークで jointly 学習 - 2 つの physics-informed joint training タスクが肝 - temporal depth prediction: 動画レンダリングにおける 3D 幾何的一貫性を強化 - keypoint dynamics learning: 物体形状や材質特性などの物理属性を暗黙的にエンコードし、複雑な運動モデリングを改善 - 詳細なアーキテクチャは要旨からは不明

4. どうやって有効だと検証した?

- 多様なロボットシナリオで実験を実施 - 生成動画が優れた visual fidelity と physical plausibility を持つことを示す - 下流応用で実用性を検証 - 生成データを用いた robotic policy training - policy evaluation - 具体的なデータセット・指標・ベースラインは要旨からは不明

5. 議論はある?

- 効率的な physics-informed world model 構築への新しい知見を提供すると主張 - embodied intelligence 研究の推進に寄与する位置づけ - 限界・失敗ケース・計算コストなどの議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として embodied world model、video generation、temporal depth prediction、keypoint dynamics learning に関する研究 - 同分野の定番として world model を用いた model-based RL / robotic policy learning 関連の論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yu Shang, Xin Zhang, Yinzhou Tang, Lei Jin, Chen Gao, Wei Wu, Yong Li

分類: cs.CV, cs.RO

原文アブストラクト

World models have become indispensable tools for embodied intelligence, serving as powerful simulators capable of generating realistic robotic videos while addressing critical data scarcity challenges. However, current embodied world models exhibit limited physical awareness, particularly in modeling 3D geometry and motion dynamics, resulting in unrealistic video generation for contact-rich robotic scenarios. In this paper, we present RoboScape, a unified physics-informed world model that jointly learns RGB video generation and physics knowledge within an integrated framework. We introduce two key physics-informed joint training tasks: temporal depth prediction that enhances 3D geometric consistency in video rendering, and keypoint dynamics learning that implicitly encodes physical properties (e.g., object shape and material characteristics) while improving complex motion modeling. Extensive experiments demonstrate that RoboScape generates videos with superior visual fidelity and physical plausibility across diverse robotic scenarios. We further validate its practical utility through downstream applications including robotic policy training with generated data and policy evaluation. Our work provides new insights for building efficient physics-informed world models to advance embodied intelligence research. The code is available at: https://github.com/tsinghua-fib-lab/RoboScape.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI