日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2509.07996

3D・4D世界モデリングのサーベイ

3D and 4D World Modeling: A Survey

シェア:XThreadsFacebookLINEはてブBluesky

RGB-D画像や占有グリッド、LiDAR点群といったネイティブな3D/4D表現を用いた世界モデリング研究を初めて体系的に整理し、定義・分類・データセット・評価指標をまとめたサーベイ。

詳しい要約

1. どんなもの?

- 3D/4D world modeling に関する初の包括的サーベイ - 対象は RGB-D 画像、occupancy grids、LiDAR point clouds などの native 3D/4D 表現を用いた大規模シーン理解・表現・予測 - 明確な定義を提示し、VideoGen・OccGen・LiDARGen からなる taxonomy を導入 - 3D/4D 向け dataset と評価指標を体系的に整理 - 応用・未解決課題・研究方向も議論 - 文献リストを GitHub (worldbench/awesome-3d-4d-world-models) で公開

2. 先行研究と比べてどこがすごい?

- 従来のサーベイは 2D 画像・動画の generative 手法に偏っていた - 本サーベイは native 3D/4D 表現 (RGB-D、occupancy grids、LiDAR point clouds) を用いる研究群に焦点 - 「world model」の標準定義・taxonomy 不在による文献の断片化・不整合な主張を指摘し整理 - 3D/4D world modeling に明示的に特化した初の comprehensive review と主張

3. 技術・手法の肝は?

- サーベイ手法として、まず「world model」の厳密な定義を確立 - VideoGen・OccGen・LiDARGen の3系統からなる構造化 taxonomy を導入 - 各系統の手法を体系的に分類・要約 - 3D/4D 設定に特化した dataset と評価指標を整理 - 応用・open challenges・研究方向を提示し、分野の基礎的参照を目指す - 個々のアルゴリズムの技術的肝は要旨からは不明

4. どうやって有効だと検証した?

- 有効性の実験的検証は行っていない(サーベイ論文のため) - 代わりに既存文献の systematic summary を実施 - dataset・評価指標の体系的整理と taxonomy による分類で文献を構造化 - 文献リストを GitHub リポジトリで公開し参照可能性を確保 - 定量的な検証結果は要旨からは不明

5. 議論はある?

- 標準定義・taxonomy の欠如が文献の断片化と不整合な主張を招いていると指摘 - 2D generative 偏重に対し native 3D/4D 表現の重要性を議論 - open challenges と promising research directions を提示 - 具体的な課題内容や議論の詳細は要旨からは不明

6. 次に読むべき論文は?

- 本サーベイが整理する VideoGen 系の generative 手法 - OccGen 系の occupancy-based 手法 - LiDARGen 系の LiDAR-based 手法 - RGB-D imagery・occupancy grids・LiDAR point clouds を用いた大規模シーン modeling 研究 - 公開文献リスト (worldbench/awesome-3d-4d-world-models) に収録された各論文 - 個別の比較対象論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lingdong Kong, Yu Yang, Jianbiao Mei, Youquan Liu, Ao Liang, Dekai Zhu, Dongyue Lu, Wei Yin, Xiaotao Hu, Mingkai Jia, Junyuan Deng, Kaiwen Zhang, Yang Wu, Tianyi Yan, Shenyuan Gao, Song Wang, Linfeng Li, Liang Pan, Yong Liu, Jianke Zhu, Wei Tsang Ooi, Steven C. H. Hoi, Ziwei Liu

分類: cs.CV, cs.RO

原文アブストラクト

World modeling has become a cornerstone in AI research, enabling agents to understand, represent, and predict the dynamic environments they inhabit. While prior work largely emphasizes generative methods for 2D image and video data, they overlook the rapidly growing body of work that leverages native 3D and 4D representations such as RGB-D imagery, occupancy grids, and LiDAR point clouds for large-scale scene modeling. At the same time, the absence of a standardized definition and taxonomy for "world models" has led to fragmented and sometimes inconsistent claims in the literature. This survey addresses these gaps by presenting the first comprehensive review explicitly dedicated to 3D and 4D world modeling and generation. We establish precise definitions, introduce a structured taxonomy spanning video-based (VideoGen), occupancy-based (OccGen), and LiDAR-based (LiDARGen) approaches, and systematically summarize datasets and evaluation metrics tailored to 3D/4D settings. We further discuss practical applications, identify open challenges, and highlight promising research directions, aiming to provide a coherent and foundational reference for advancing the field. A systematic summary of existing literature is available at https://github.com/worldbench/awesome-3d-4d-world-models

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI