日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2606.32028

DVG-WM: 分離型ビデオ生成によるロボット操作のための効率的身体化世界モデル

DVG-WM: Disentangled Video Generation Enables Efficient Embodied World Model for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成を動力学学習と視覚合成に分離することで、高品質な予測を高速に実現する身体化世界モデルを提案した。

詳しい要約

1. どんなもの?

- ビデオベースのembodied world modelであるDVG-WMを提案。 - ロボット操作のための未来状態予測を効率的に行う。 - 世界モデリングをdynamics learningとvisual synthesisに明示的に分解。 - 初期観測と言語指示を条件として、中間視覚状態を生成し高精細ビデオに洗練。 - LIBEROと実世界プラットフォームで評価。

2. 先行研究と比べてどこがすごい?

- 従来のビデオベース世界モデルはdynamicsとvisual synthesisが絡み合い、推論速度が遅いか予測が粗い問題があった。 - DVG-WMはこれらを分離することで、高品質なビデオ生成と最大3.97倍の加速を両立。 - 既存手法と比べ、contact-richな詳細を保持しつつ効率的な計画が可能。

3. 技術・手法の肝は?

- 世界モデリングをdynamics learningとvisual synthesisに分解。 - 初期観測と言語指示から中間視覚状態を生成し、物理的相互作用をプレビュー。 - 効率的なcascading mechanismを提案。 - flow matchingを用いてdynamicsを直接ビデオlatentsにマッピング。 - latent degradation mechanismを導入し、contact-richな詳細を再生成。

4. どうやって有効だと検証した?

- LIBEROと実世界プラットフォームでの実験。 - ビデオ品質の向上と最大3.97倍の加速を確認。 - 分離されたビデオ生成が効率的なembodied world modelとして有効であることを検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- LIBERO(ベンチマーク) - flow matching(関連手法) - その他のembodied world model(一般的な関連研究)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyu Shan, Zhenyu Wu, Xiaofeng Wang, Zheng Zhu, Ziwei Wang

分類: cs.RO

原文アブストラクト

Video-based embodied world models provide an appealing substrate for robotic manipulation by predicting future states, yet current approaches remain limited by a fundamental entanglement: accurately modeling dynamics typically requires low-level temporal reasoning, while producing high-resolution frames demands expansive visual synthesis according to high-level semantics. This entanglement results in slow inference speed for iterative planning or too coarse predictions to retain contact-rich details. To solve this dilemma, we present Disentangled Video Generation World Model (DVG-WM), an efficient framework that explicitly decomposes world modeling into dynamics learning and visual synthesis. Conditioned on an initial observation and a language instruction, our model first generates a plausible sequence of intermediate visual states to preview the physical interaction and refines them to obtain high-fidelity videos. Furthermore, an efficient cascading mechanism is proposed, where DVG-WM uses flow matching to directly map the dynamics to video latents, and introduces a latent degradation mechanism to regenerate contact-rich details. Experiments on LIBERO and real-world platforms demonstrate improved video quality with up to 3.97 times acceleration, validating that disentangled video generation can be an efficient embodied world model for robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI