日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

4Dシーン理解arXiv:2611.14440

統合生成幾何モデルUGG

UGG: Unified Generative Geometry Model

シェア:XThreadsFacebookLINEはてブBluesky

RGB動画と深度・カメラ姿勢などの幾何情報を単一の生成モデルで統合的に扱い、4Dシーン理解を実現するフレームワークを提案した論文。

詳しい要約

1. どんなもの?

- UGGは4D scene understandingのための統合フレームワーク - RGB videoとdepth・camera poseなどのgeometric representationを同時にモデル化 - 単一のgenerative modelでvisual generationとgeometric predictionを扱う - 部分的観測からscene geometry・appearance・dynamicsを捉えることを狙う

2. 先行研究と比べてどこがすごい?

- 既存研究はfeedforward modelsによる直接的なgeometric predictionと、generative modelsによるvisual synthesisに分断されていた - UGGはこれらを単一のgenerative modelに統合 - 異なるgeometric/visual annotationのサブセットを持つ多様でheterogeneousなdatasetから学習可能 - ground truth geometryなしでもobserved RGB framesからのgeometric evidenceを用いたinference-time searchが可能

3. 技術・手法の肝は?

- modalityとtimeごとに異なるnoise levelを割り当てる - visual generationとgeometric predictionをconditional completionとして定式化 - この柔軟な定式化によりheterogeneous datasetからの学習を実現 - inference時に複数のplausible scene hypothesesを探索し、観測RGBから抽出したgeometric evidenceでgeometric predictionを改善

4. どうやって有効だと検証した?

- non-unified baselinesと比較 - camera-controlled video generation、depth estimation、camera pose predictionで評価 - 挑戦的なsparse observation設定を含めて有効性を実証 - 具体的なdataset名や指標は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界や失敗ケース、計算コストに関する議論は要旨に記載なし

6. 次に読むべき論文は?

- feedforward modelsによるgeometric predictionの代表的手法 - generative modelsによるvisual synthesisの代表的手法 - camera-controlled video generationの関連研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Amani Kiruga, Zhiyi Li, Ruojin Cai, Hansen Lillemark, Xiaoshan Wu, Ayush Tewari, Yilun Du

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Understanding 4D scenes is a core challenge in visual intelligence, requiring models to jointly capture scene geometry, appearance, and dynamics from partial observations. However, existing approaches are subdivided into feedforward models for direct geometric prediction, and generative models for visual synthesis. We introduce UGG, a unified framework for 4D scene understanding that jointly models RGB video and geometric representations such as depth and camera pose. By assigning different noise levels across modalities and time, UGG formulates visual generation and geometric prediction as conditional completion within a single generative model. This flexible formulation enables the model to learn from diverse, heterogeneous datasets with different subsets of geometric and visual annotations. Furthermore, our generative formulation enables inference-time search over multiple plausible scene hypotheses, using geometric evidence extracted from observed RGB frames to improve geometric prediction without ground truth geometry. We demonstrate UGG's effectiveness over non-unified baselines across camera-controlled video generation, depth estimation, and camera pose prediction, including in challenging sparse observation settings. Code and visualizations are available at https://ugg-model.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI