日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2605.01799

Embody4D: 身体化された4D世界モデリングのための汎用データエンジン

Embody4D: A Generalist Data Engine for Embodied 4D World Modeling

シェア:XThreadsFacebookLINEはてブBluesky

単眼ロボット映像を任意の視点からの新規ビュー映像に変換するビデオ間世界モデルを提案し、データ不足を合成パイプラインで補い、幾何学的安定性と操作領域の忠実度を高める手法を導入した。

詳しい要約

1. どんなもの?

- 単眼のロボット動画を任意の視点からの新規視点動画に変換する、embodied 4D world model である Embody4D を提案。 - 空間推論、操作理解、下流の意思決定を支援するための、ロボットデータの視点不足を補うデータエンジンとして機能。 - 固定・疎な視点で撮影された既存ロボットデータの限界を克服し、多視点知覚と視点間の汎化を可能にする。

2. 先行研究と比べてどこがすごい?

- 既存のロボットデータは固定または疎な視点で撮影され、部分的で視点依存の観測しか得られないため、多視点知覚や視点汎化が制限される。 - 実世界で追加視点を収集する困難さに対し、Embody4D は単眼動画から柔軟なターゲットカメラ視点の新規視点動画を生成することでこの観測ギャップを橋渡しする。 - 視覚評価ベンチマークで state-of-the-art 性能を達成し、シミュレーションと実世界のロボット実験で有効性を実証。

3. 技術・手法の肝は?

- 訓練データ不足に対処するため、3D-aware compositional synthesis pipeline を導入し、異なる embodiment のロボットアームと多様な背景を合成した異種データセットをキュレーション。 - 幾何学的安定性を確保するため、latent confidence-aware expert modulation strategy を考案。warped latent priors の信頼性を推定し、領域を copy, repair, inpaint experts に適応的にルーティングして時空間的に一貫した 4D 生成を実現。 - 操作の忠実度を高めるため、interaction-aware attention mechanism を組み込み、ロボットの相互作用領域に明示的に注意を向ける。

4. どうやって有効だと検証した?

- 視覚評価ベンチマークで state-of-the-art 性能を達成。 - シミュレーションおよび実世界のロボット実験により、高忠実度で視点一貫性のある動画を合成し、下流のロボット計画と学習を支援する堅牢なデータエンジンとしての有効性を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明記されていない。同分野の定番として、embodied 4D world modeling、video-to-video world model、novel view synthesis、latent diffusion models、robotic manipulation 関連の論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peiyan Tu, Hanxin Zhu, Jingwen Sun, Shaojie Ren, Cong Wang, Yuyan Xu, Jiayi Luo, Xiaoqian Cheng, Zhibo Chen

分類: cs.CV

原文アブストラクト

Embodied agents require robust and comprehensive 3D spatiotemporal representations to support spatial reasoning, manipulation understanding, and downstream decision making. However, existing robot data are typically captured from fixed or sparse viewpoints, providing only partial and view-dependent observations, which limits multi-view perception and generalization across viewpoints. Given the difficulty of collecting additional viewpoints in real-world settings, we propose Embody4D, a dedicated video-to-video world model for embodied scenarios to bridge this observation gap by transforming a monocular robot video into novel-view videos from flexible target camera viewpoints. First, to tackle training data scarcity, we introduce a 3D-aware compositional synthesis pipeline to curate a heterogeneous dataset compositing cross-embodiment robotic arms with diverse backgrounds, promoting broad generalization. Second, to enforce geometric stability, we devise a latent confidence-aware expert modulation strategy, which estimates the reliability of warped latent priors and adaptively routes regions to copy, repair, or inpaint experts for spatiotemporally consistent 4D generation. Finally, to enhance the fidelity of the manipulation, we incorporate an interaction-aware attention mechanism that explicitly attends to the robotic interaction regions. Extensive experiments show that Embody4D achieves state-of-the-art performance on visual evaluation benchmarks, while both simulated and real-world robotic experiments further demonstrate its effectiveness as a robust data engine for synthesizing high-fidelity, view-consistent videos that empower downstream robotic planning and learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI