Kinema4D: 時空間身体化シミュレーションのためのキネマティック4Dワールドモデリング
Kinema4D: Kinematic 4D World Modeling for Spatiotemporal Embodied Simulation
ロボットと環境の相互作用を4次元(時空間)で生成する新しいシミュレータを提案し、ロボット制御の正確な4D表現と環境反応の生成的4Dモデリングを組み合わせることで、物理的に妥当で幾何学的に一貫した相互作用をシミュレートする。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Mutian Xu, Tianbao Zhang, Tianqi Liu, Zhaoxi Chen, Xiaoguang Han, Ziwei Liu
分類: cs.RO, cs.CV
原文アブストラクト
Simulating robot-world interactions is a cornerstone of Embodied AI. Recently, a few works have shown promise in leveraging video generations to transcend the rigid visual/physical constraints of traditional simulators. However, they primarily operate in 2D space or are guided by static environmental cues, ignoring the fundamental reality that robot-world interactions are inherently 4D spatiotemporal events that require precise interactive modeling. To restore this 4D essence while ensuring the precise robot control, we introduce Kinema4D, a new action-conditioned 4D generative robotic simulator that disentangles the robot-world interaction into: i) Precise 4D representation of robot controls: we drive a URDF-based 3D robot via kinematics, producing a precise 4D robot control trajectory. ii) Generative 4D modeling of environmental reactions: we project the 4D robot trajectory into a pointmap as a spatiotemporal visual signal, controlling the generative model to synthesize complex environments' reactive dynamics into synchronized RGB/pointmap sequences. To facilitate training, we curated a large-scale dataset called Robo4D-200k, comprising 201,426 robot interaction episodes with high-quality 4D annotations. Extensive experiments demonstrate that our method effectively simulates physically-plausible, geometry-consistent, and embodiment-agnostic interactions that faithfully mirror diverse real-world dynamics. For the first time, it shows potential zero-shot transfer capability, providing a high-fidelity foundation for advancing next-generation embodied simulation.
関連論文
- 詳細メッシュ対応の接触リッチ相互作用向け軽量シミュレータLodosシミュレーション
- Ostrich: 微分可能ダイナミクスにおける剛直な接触を跨ぐ大きな歩幅シミュレーション
- Agri-Sim: 温室ロボティクスにおける具現化知能評価のための農業シミュレーションプラットフォームシミュレーション
- 浅海域の写実性を超えて:深海ロボティクスのための物理・センサ接地シミュレーションシミュレーション
- NVIDIA Cosmos-H-Dreams: 手術ロボットのためのリアルタイム生成物理シミュレーションシミュレーション
- CRESSim-Neo: 手術ロボティクスとロボット学習のためのバッチ処理GPUシミュレーションエンジンシミュレーション
