日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.22882

GEM-4D: ロボット操作のための幾何学強化ビデオワールドモデル

GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成モデルに4次元対応関係の教師信号を注入し、外観と幾何構造を同時に学習させることで、物理的に一貫した未来予測とロボット操作への直接適用を可能にした。

詳しい要約

1. どんなもの?

- 単一のinstructionから将来のvideoを生成するvideo world model。 - 生成videoは見た目は自然だが、同一の物理点を時間を通して一貫して追跡できない問題がある。 - そのため物理的groundingを欠き、robot manipulationのような信頼できるaction実行に使えない。 - GEM-4Dはgeometry-groundedなvideo world modelで、この制限を解決する。 - 訓練時にpretrained geometry foundation modelから蒸留したdense 4D correspondence supervisionをvideo generative backboneに注入する。 - これによりappearanceとgeometric structureを同時に捉え、single-stream architectureを維持し追加のinference costがない。 - correspondence-consistentなvideo rolloutを実行可能なrobot trajectoryに変換する…

2. 先行研究と比べてどこがすごい?

- 従来のvideo world modelは単一instructionからrealisticなfutureを生成できるが、同一物理点を時間的に一貫して追跡できない。 - 生成videoはplausibleに見えても物理的groundingを欠き、reliableなaction実行に使えない。 - GEM-4Dはdense 4D correspondence supervisionを訓練時に注入することで、この一貫性の制限を解決する。 - appearanceとgeometric structureを同時に捉えつつ、single-stream architectureを維持し追加のinference costがない点が特徴。 - video predictionとgeometric consistencyの両方でsimulation・realistic scenarioにおいてstate-of-the-art性能を達成。 - real-world manipulation successを61%から81%に改善。

3. 技術・手法の肝は?

- pretrained geometry foundation modelから蒸留したdense 4D correspondence supervisionを、訓練時にvideo generative backboneへ注入する。 - これによりappearanceとgeometric structureをjointlyに捉える。 - single-stream architectureを維持し、追加のinference costを生じない。 - inverse dynamics moduleを導入し、correspondence-consistentなvideo rolloutを実行可能なrobot trajectoryへ変換する。 - これによりreal-worldとsimulated manipulationへ直接deploy可能にする。

4. どうやって有効だと検証した?

- video predictionとgeometric consistencyの両方について、simulationとrealistic scenarioで評価。 - 両タスクでstate-of-the-art performanceを達成。 - real-world manipulation successが61%から81%へ改善したことを報告。 - 詳細な実験設定・ベースライン・指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗ケース、計算コスト、汎化性に関する議論は要旨に記載がない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な研究は明示されていない。 - 関連手法としてvideo world model、geometry foundation model、inverse dynamics model、robot manipulationのvideo predictionが挙げられる。 - 同分野の定番としてvideo diffusion modelやworld modelベースのmanipulation研究を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaichen Zhou, Yuzhen Chen, Fangneng Zhan, Hang Hua, Grace Chen, Xinhai Chang, Ao Qu, Yilun Du, Zhuang Liu, Paul Pu Liang, Mengyu Wang

分類: cs.CV, cs.RO

原文アブストラクト

Video world models can generate realistic futures from a single instruction, but they often fail to track the same physical points consistently across time. As a result, the generated videos appear plausible, yet lack the physical grounding required for reliable action execution, such as robot manipulation. We present GEM-4D, a geometry-grounded video world model that resolves this limitation by injecting dense 4D correspondence supervision distilled from a pretrained geometry foundation model into the video generative backbone during training. This supervision enables the model to jointly capture appearance and geometric structure while retaining a single-stream architecture with no additional inference cost. We further introduce an inverse dynamics module that converts correspondence-consistent video rollouts into executable robot trajectories, enabling direct deployment in both real-world and simulated manipulation. GEM-4D achieves state-of-the-art performance on both video prediction and geometric consistency across both simulation and realistic scenarios and improves real-world manipulation success from 61% to 81%. Additional results are available at https://gem-4d.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI