日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2607.06559

RynnWorld-4D: ロボット操作のための4D具現化ワールドモデル

RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

RGB、深度、オプティカルフローを統合した4Dワールドモデルを提案し、将来のシーン変化を予測してロボット操作のポリシー学習を支援する。

詳しい要約

1. どんなもの?

- ロボット操作のための4D embodied world model - 単一のRGB-D画像と言語指示から未来のRGBフレーム、depth map、optical flowを同時生成 - 統合されたdiffusion processで予測 - 外観・幾何・運動の一貫性を保つtri-branch architecture - 大規模データセットRynn4DDataset 1.0(2.544億フレーム超)を構築 - RynnWorld-4D-Policyにより閉ループでロボット行動を出力

2. 先行研究と比べてどこがすごい?

- 2D pixel videoベースのworld modelと比較し、RGB-DF(RGB, depth, optical flow)の同期表現を採用 - 外観と幾何構造・時間運動を整合させ、低レベルend-effector actionに近い表現空間を実現 - world predictionとpolicy learningのギャップを狭める - 単一のdiffusion processで3モダリティを共生成する点が新しい - 大規模データセットとinverse dynamics headを組み合わせ、SOTA性能を達成

3. 技術・手法の肝は?

- RGB-DFを物理的に根拠ある4D表現として採用 - tri-branch architectureでRGB, depth, optical flowを並列生成 - cross-modal attentionとframe-wise 3D RoPEを統合 - 単一のdiffusion processで未来のRGBフレーム、depth map、optical flowを同時予測 - RynnWorld-4D-Policyはinverse dynamics headとして内部4D表現を単一forward passで消費し、多段denoisingを回避して行動出力

4. どうやって有効だと検証した?

- RynnWorld-4Dが時間的・空間的に一貫した4D予測を生成することを実験で示す - RynnWorld-4D-Policyが実世界のdexterous bimanual manipulationタスクでstate-of-the-art性能を達成 - 特に空間精度と時間調整を要するタスクで優れることを確認

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として2D pixel videoベースのworld model、diffusion policy、inverse dynamics model、RGB-D表現を用いたロボット学習が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyu Zhao, Xingyue Zhao, Siteng Huang, Xin Li, Deli Zhao, Zhongyu Li

分類: cs.RO

原文アブストラクト

Robotic manipulation in the open world requires not only recognizing what a scene looks like, but also anticipating how its 3D structure moves under interaction. We argue that synchronized RGB, depth, and optical flow, namely RGB-DF, provide a physically grounded representation that captures the underlying 4D dynamics of a scene. Compared to 2D pixel videos, this multi-modal synergy aligns visual appearance with geometric structure and temporal motion, creating a representation space significantly closer to the low-level end-effector actions demanded by robotic systems, thereby narrowing the gap between world prediction and policy learning. Building on this insight, we introduce RynnWorld-4D, a generative model that co-produces future RGB frames, depth maps, and optical flow from a single RGB-D image and a language instruction within one unified diffusion process. This 4D world model features a tri-branch architecture that integrates cross-modal attention with frame-wise 3D RoPE, ensuring that appearance, geometry, and motion evolve consistently. To supply training data at scale, we curate Rynn4DDataset 1.0, a massive dataset of over 254.4 million frames across egocentric human and robotic manipulation videos with high-quality pseudo-labels for depth and optical flow. We further propose RynnWorld-4D-Policy, an inverse dynamics head that consumes the internal 4D representations of RynnWorld-4D in a single forward pass, bypassing expensive multi-step denoising, to output robot actions in a closed-loop manner. Experiments show that RynnWorld-4D produces temporally and spatially coherent 4D predictions, and that RynnWorld-4D-Policy achieves state-of-the-art performance on real-world dexterous bimanual manipulation tasks, particularly excelling in tasks demanding spatial precision and temporal coordination.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI