日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D生成arXiv:2605.12957

GTA: 幾何学から外観へのビデオ拡散による画像から3Dワールド生成の高度化

GTA: Advancing Image-to-3D World Generation via Geometry Then Appearance Video Diffusion

シェア:XThreadsFacebookLINEはてブBluesky

単一画像から3Dシーンを生成する際、まず粗い幾何構造を生成し、その後に外観を生成する二段階のビデオ拡散モデルを提案し、構造の忠実性と視点間の一貫性を向上させた。

詳しい要約

1. どんなもの?

- 単一画像から3D世界を生成する手法 GTA の提案。 - 入力画像1枚から新視点の3Dシーンを生成。 - 人間の視知覚の coarse-to-fine に着想。 - Geometry-Then-Appearance パラダイムを採用。 - 2段階の video diffusion model で構成。 - 第1段階で粗い幾何構造、第2段階で外観を合成。 - 対象領域は spatial intelligence, embodied intelligence, autonomous driving など。

2. 先行研究と比べてどこがすごい?

- 既存の3D世界生成は外観予測を優先し、幾何モデリングが限定的。 - その結果、scene structure 推定が不安定で cross-view consistency が劣化。 - GTA は Geometry-Then-Appearance で構造忠実性を改善。 - 実験で fidelity, visual quality, geometric accuracy が既存手法を一貫して上回る。 - 既存 image-to-3D world pipeline の汎用 enhancement module としても機能。 - 下流アプリやデータ効率でも利点を示す。

3. 技術・手法の肝は?

- 2段階フレームワークと2つの専用 video diffusion model。 - 第1段階: 新視点から粗い幾何構造を生成。 - 第2段階: 予測幾何に条件付けして細粒度外観を合成。 - cross-view appearance consistency 向上のため random latent shuffle を訓練時に導入。 - test-time scaling scheme で知覚品質を向上。 - 定量性能を損なわずに品質改善。

4. どうやって有効だと検証した?

- Extensive experiments を実施。 - fidelity, visual quality, geometric accuracy で既存手法を一貫して上回る。 - 既存 image-to-3D world pipeline への enhancement module として有効性を確認。 - 複数の下流アプリケーションをサポート。 - モデル訓練時の data efficiency が良好。 - 詳細な評価指標やデータセットは要旨からは不明。

5. 議論はある?

- 既存手法の限界として外観優先と幾何モデリング不足を指摘。 - それが scene structure 推定の不安定さと cross-view consistency 劣化を招く。 - GTA は coarse-to-fine な人間視知覚に動機付け。 - 汎用性と広い適用可能性を主張。 - 具体的な制約や失敗事例、計算コストの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として image-to-3D world generation の既存パイプライン。 - video diffusion model を用いた3D生成手法。 - 同分野の定番として DreamFusion, Magic3D, Zero-1-to-3, SyncDreamer などが候補。 - ただし要旨に記載がないため一般名として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hanxin Zhu, Cong Wang, Peiyan Tu, Jiayi Luo, Tianyu He, Xin Jin, Zhibo Chen

分類: cs.CV

原文アブストラクト

Recent developments in generative models and large-scale datasets have substantially advanced 3D world generation, facilitating a broad range of domains including spatial intelligence, embodied intelligence, and autonomous driving. While achieving remarkable progress, existing approaches to 3D world generation typically prioritize appearance prediction with limited modeling of the underlying geometry, leading to issues such as unreliable scene structure estimation and degraded cross-view consistency. To address these limitations, motivated by the coarse-to-fine nature of human visual perception, we propose GTA, a novel image-to-3D world generation method following a Geometry-Then-Appearance paradigm. Specifically, given a single input image, to improve the structural fidelity of synthesized 3D scenes, GTA adopts a two-stage framework with two dedicated video diffusion models, which first generate coarse geometric structure from novel viewpoints and then synthesize fine-grained appearance conditioned on the predicted geometry. To further enhance cross-view appearance consistency, we introduce a random latent shuffle strategy during the training process, along with a test-time scaling scheme that improves perceptual quality without compromising quantitative performance. Extensive experiments have demonstrated that our proposed method consistently outperforms existing approaches in terms of fidelity, visual quality, and geometric accuracy. Moreover, GTA is shown to be effective as a general enhancement module that further improves the generation quality of existing image-to-3D world pipelines, as well as supporting multiple downstream applications and exhibiting favorable data efficiency during model training, highlighting its versatility and broad applicability. Project page: https://hanxinzhu-lab.github.io/GTA/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI