日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

身体性世界モデルarXiv:2511.12882

マルチビュー軌道動画による高整合な身体性世界モデル

Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos

シェア:XThreadsFacebookLINEはてブBluesky

低レベル行動をカメラパラメータとカルテシアン変換でマルチビューの軌道動画に変換し、それを制御信号として未来フレームを予測する身体性世界モデルMTV-Worldを提案。マルチビューで空間情報の損失を補い、物理世界との整合性を高めた。

詳しい要約

1. どんなもの?

- 本論文は、視覚観測と行動から物理世界を予測・相互作用する Embodied World Model の研究。 - 既存モデルは低レベル行動(例: joint positions)を予測フレーム内の正確なロボット動作に変換できず、実世界の物理相互作用と不整合を起こす問題がある。 - これを解決するため、Multi-view Trajectory-Video control を導入した MTV-World を提案。 - 複雑な dual-arm シナリオでの精密な制御実行と物理相互作用モデリングを目指す。

2. 先行研究と比べてどこがすごい?

- 既存の Embodied World Model は低レベル行動を直接制御信号として用いるため、予測フレーム内のロボット動作が実世界と不整合になりやすい。 - 提案手法は低レベル行動の代わりに trajectory videos を制御信号として用いる点が異なる。 - 単一視点では 3D raw actions を 2D 画像へ投影する際に空間情報が失われるため、multi-view framework で補償する点が新しい。 - 評価面でも multimodal large models と referring video object segmentation models を用いた自動評価パイプラインを構築している。

3. 技術・手法の肝は?

- 低レベル行動を直接使わず、camera intrinsic and extrinsic parameters と Cartesian-space transformation を通じて trajectory videos を生成し、制御信号として利用。 - 3D raw actions の 2D 投影による空間情報損失を補うため、multi-view framework を導入。 - 各視点の初期フレームを条件とし、multi-view trajectory videos を入力として将来フレームを予測。 - 空間整合性を object location matching 問題として定式化し、Jaccard Index を評価指標に採用。

4. どうやって有効だと検証した?

- 複雑な dual-arm シナリオにおいて広範な実験を実施。 - ロボット動作の精度と物体相互作用の正確性を体系的に評価するため、multimodal large models と referring video object segmentation models を活用した自動評価パイプラインを開発。 - 空間整合性を object location matching として Jaccard Index で測定。 - 実験により、MTV-World が精密な制御実行と正確な物理相互作用モデリングを達成することを示した。

5. 議論はある?

- 3D raw actions を 2D 画像へ投影すると空間情報が不可避的に失われ、単一視点では正確な相互作用モデリングに不十分である点を議論。 - これを multi-view framework で補償し、物理世界との高い整合性を確保する方針を取る。 - 評価の自動化に multimodal large models と referring video object segmentation models を用いる点、空間整合性を Jaccard Index で測る点が評価設計上の特徴。 - 具体的な限界や失敗事例、計算コストなどは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究名は不明。 - 関連手法として、Embodied World Model、trajectory videos を用いた制御、multi-view framework、Cartesian-space transformation、referring video object segmentation、multimodal large models を挙げる。 - 同分野の定番として、video prediction に基づく world model や visuomotor prediction の研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taiyi Su, Jian Zhu, Yaxuan Li, Chong Ma, Jianjun Zhang, Zitai Huang, Hanli Wang, Yi Xu

分類: cs.RO, cs.AI

原文アブストラクト

Embodied world models aim to predict and interact with the physical world through visual observations and actions. However, existing models struggle to accurately translate low-level actions (e.g., joint positions) into precise robotic movements in predicted frames, leading to inconsistencies with real-world physical interactions. To address these limitations, we propose MTV-World, an embodied world model that introduces Multi-view Trajectory-Video control for precise visuomotor prediction. Specifically, instead of directly using low-level actions for control, we employ trajectory videos obtained through camera intrinsic and extrinsic parameters and Cartesian-space transformation as control signals. However, projecting 3D raw actions onto 2D images inevitably causes a loss of spatial information, making a single view insufficient for accurate interaction modeling. To overcome this, we introduce a multi-view framework that compensates for spatial information loss and ensures high-consistency with physical world. MTV-World forecasts future frames based on multi-view trajectory videos as input and conditioning on an initial frame per view. Furthermore, to systematically evaluate both robotic motion precision and object interaction accuracy, we develop an auto-evaluation pipeline leveraging multimodal large models and referring video object segmentation models. To measure spatial consistency, we formulate it as an object location matching problem and adopt the Jaccard Index as the evaluation metric. Extensive experiments demonstrate that MTV-World achieves precise control execution and accurate physical interaction modeling in complex dual-arm scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI