日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2606.28804

ViPSim: 視覚空間とパラメータ空間の協調による一貫した長期ホライズン身体化ワールドモデル

ViPSim: Collaborating Visual and Parameter Spaces for Consistent Long-Horizon Embodied World Models

シェア:XThreadsFacebookLINEはてブBluesky

身体化ワールドモデルにおける低次元アクションと高次元ビデオ合成の表現ギャップを埋めるため、視覚空間(幾何学的先行知識)とパラメータ空間(数値的駆動)を協調させるフレームワークViPSimを提案し、長期ロールアウトでの軌道ドリフトやロボットと物体の相互作用の不整合を改善した。

詳しい要約

1. どんなもの?

- 本論文は ViPSim というフレームワークを提案する。 - Embodied World Models (EWMs) の長期的な一貫性を改善する。 - Visual Space と Parameter Space を協調させる。 - 低次元行動と高次元動画合成の表現ギャップを橋渡しする。 - 軌道ドリフトやロボット-物体相互作用の不一致を軽減する。 - 評価ベンチマークや基盤シミュレータとしての信頼性を高める。

2. 先行研究と比べてどこがすごい?

- 従来の EWMs は低次元行動と高次元動画合成の表現ギャップにより、長期的なロールアウトで軌道ドリフトや相互作用の不一致が生じる。 - ViPSim は Visual Space と Parameter Space を統合し、幾何学的境界と数値的指令の両方で生成状態を制御する。 - これにより、バックボーンに依存せず軌道一貫性を大幅に向上させる。 - 変形可能物体との複雑な相互作用生成や、分布外・異なる身体性へのロバスト性も示す。

3. 技術・手法の肝は?

- Visual Space を明示的な空間事前分布として定義する。 - エンドエフェクタ姿勢のピクセル整列投影、カメラ視点、深度情報に基づくシーン幾何、ロボット形態マスクを統合し、密な構造的基盤を提供する。 - Parameter Space を数値的駆動源として定義する。 - 生の行動系列とカメラ行列を注入し、正確な運動誘導を行う。 - 両空間を統合することで、生成状態が幾何学的境界に固定され、数値コマンドで操舵される。

4. どうやって有効だと検証した?

- 広範な実験により、ViPSim がバックボーン非依存であることを示す。 - 軌道一貫性を大幅に向上させることを実証する。 - 変形可能物体(例:布折り)との複雑な相互作用生成における創発的能力を示す。 - 分布外および異なる身体性のシナリオでロバストな性能を維持する。

5. 議論はある?

- 要旨からは不明。 - ただし、EWMs の評価ベンチマークや基盤シミュレータとしての信頼性向上に寄与することが示唆される。 - 長期的な一貫性、幾何学的対応、ロボット-物体相互作用の改善が議論の中心。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Embodied World Models (EWMs)、Vision-Language-Action systems、Video Synthesis、Action Sequence Modeling などが挙げられる。 - 同分野の定番として、World Models、Dreamer、Video Prediction 関連の研究が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Longyu Chen, Heng Li, Wei Yang, Manqi Zhao, Dongsheng Jiang

分類: cs.CV, cs.RO

原文アブストラクト

Embodied World Models (EWMs) have emerged as a scalable and risk-free paradigm for advancing embodied intelligence, enabling the safety-critical evaluation of Vision-Language-Action systems. However, their reliability as evaluation benchmarks and foundational simulators is often hindered by the representation gap between low-dimensional actions and high-dimensional video synthesis. This gap results in a lack of geometric correspondence, manifesting as accumulated trajectory drift and inconsistent robot-object interactions during long-horizon rollouts. To bridge this gap, we propose ViPSim, a framework that achieves consistent long-horizon generation through the synergistic collaboration of Visual and Parameter Spaces. We define the Visual Space as a domain of explicit spatial priors, integrating pixel-aligned projections of end-effector pose, camera perspectives, depth-informed scene geometry, and robotic morphological masks to provide dense structural grounding. Concurrently, the Parameter Space serves as a domain of numerical drivers, injecting raw action sequences and camera matrices to provide precise motion guidance. By unifying these two spaces, ViPSim ensures that the generated states are simultaneously anchored by geometric boundaries and steered by numerical commands. Extensive experiments demonstrate that ViPSim is backbone-agnostic and significantly enhances trajectory consistency. Notably, our approach exhibits emergent capabilities in generating complex interactions with deformable objects (e.g., cloth folding) and maintains robust performance in out-of-distribution and cross-embodiment scenarios, providing a high-fidelity foundation for the automated evaluation and predictive control of embodied agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI