日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2611.11085

物体中心の世界モデルを大規模3D全物体フローデータセットでスケールアップするObjectWorld

ObjectWorld: Scaling Object-Centric World Models with A Large-Scale 3D Full-Object Flow Dataset

シェア:XThreadsFacebookLINEはてブBluesky

物体表面全体(遮蔽領域含む)に密な3D軌道を割り当てる「3D全物体フロー」表現と、1210時間の大規模データセットを構築し、画像とタスク記述から全物体フローを予測する世界モデルを学習した研究。

詳しい要約

1. どんなもの?

- 大規模視覚データから生成的世界モデルを学習し、スケーラブルなロボット操作へ繋げる研究。 - 中核は 3D full-object flow と呼ぶ object-centric な運動表現で、対象物体の表面全体(occluded regions を含む)の点に密な 3D 軌跡を割り当てる。 - 可視表面のみの object flow を物体幾何全体へ拡張した表現で、rigid と deformable の両方に統一的に適用できる。 - 1210 時間の full-object flow dataset を構築し、画像とタスク記述を入力に再構成物体幾何上の密な full-object flow を予測する world model を学習する。

2. 先行研究と比べてどこがすごい?

- 従来の object flow は可視表面に限られていたが、本手法は occluded regions を含む完全な物体表面へ拡張した点が新しい。 - これにより完全な物体運動を明示的に表現でき、rigid/deformable を問わず同一表現で扱える。 - 大規模な完全 3D 物体運動の supervision が乏しい課題に対し、1210 時間のデータセットとスケーラブルな annotation pipeline を用意した点が先行研究との差分。 - 具体的な比較対象の研究名は要旨からは不明。

3. 技術・手法の肝は?

- 表現: 3D full-object flow(物体表面全体の点に密な 3D 軌跡を付与)。 - データ: 多様な実世界動画と物理シミュレーションを統合した 1210 時間の dataset。 - annotation: 実世界観測から full-object motion を復元するスケーラブルな pipeline と、注釈品質を体系的に評価する quality metrics を用意。 - モデル: 画像とタスク記述を入力とし、再構成された物体幾何上で密な full-object flow を予測する world model を学習。

4. どうやって有効だと検証した?

- 注釈品質が信頼できることを実験で示した。 - flow prediction がデータ規模に対してスケールすることを確認。 - 新規シーンと新規ロボット embodiment において下流の manipulation が有効に機能することを実験で示した。 - 具体的な評価指標・ベースライン・データセット名は要旨からは不明。

5. 議論はある?

- 実世界動画からの full-object motion 復元には annotation pipeline と quality metrics による品質管理が重要で、その信頼性を主張している。 - データ規模拡大への応答性(data-scalable)と、新規シーン・新規 embodiment への汎化を議論。 - 限界・失敗事例・計算コストなどの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 本論文が拡張元とする visible-surface object flow に関する研究(具体的な文献名は要旨からは不明)。 - object-centric world model の関連研究(具体名は要旨からは不明)。 - ロボット操作向け video-based world model / generative world model の代表的手法(一般名)。 - deformable object の motion representation に関する研究(具体名は要旨からは不明)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haonan Chen, Sicheng Isabella Lu, Haitian Li, Jiajin Wu, Hexiang Wei, Jiawei Zhang, Xin Fei, Yiwen Hou, Chenrui Tie, Chongkai Gao, Sheng Wang, Lin Shao

分類: cs.RO

原文アブストラクト

Generative world modeling from large-scale visual data offers a promising path toward scalable robot manipulation. This calls for an intermediate representation that can be supervised at scale and remains actionable for downstream control. We propose 3D full-object flow, an object-centric motion representation that assigns dense 3D trajectories to points across the complete surface of a target object, including its occluded regions. By extending visible-surface object flow to the full object geometry, this representation makes complete object motion explicit and applies uniformly to both rigid and deformable objects. To realize the potential of this representation at scale, we introduce a 1210-hour full-object flow dataset that addresses the scarcity of large-scale supervision for complete 3D object motion. The dataset integrates diverse real-world videos and physical simulations, with a scalable annotation pipeline for recovering full-object motion from real-world observations and quality metrics for systematically assessing annotation quality. We then train a world model that takes an image and a task description as input and predicts dense full-object flow over the reconstructed object geometry. Experiments show reliable annotation quality, data-scalable flow prediction, and effective downstream manipulation across novel scenes and robot embodiments. Project website with additional results and videos: https://nus-lins-lab.github.io/ObjectWorld/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI