日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D生成arXiv:2604.23010

GenAssets: 潜在空間における実世界3Dアセットの生成

GenAssets: Generating in-the-wild 3D Assets in Latent Space

シェア:XThreadsFacebookLINEはてブBluesky

実世界のLiDARとカメラデータから、完全な形状と外観を持つ高品質な3Dアセットを生成する3D潜在拡散モデルを提案した論文。

詳しい要約

1. どんなもの?

- 自動運転のマルチセンサーシミュレーション用に、in-the-wildのLiDARとカメラデータから高品質な3Dアセットを生成する手法。 - 3D latent diffusion modelを提案し、完全な形状と外観を持つアセットを生成する。 - キーは「reconstruct-then-generate」アプローチで、まずocclusion-aware neural renderingで潜在空間を構築し、その上でdiffusion modelを訓練する。

2. 先行研究と比べてどこがすごい?

- 既存のneural-renderingベースの再構成手法は遅く、元の観測に近い視点でしか良好にレンダリングできない。 - 最近のdiffusionベース生成モデルは完全で多様なアセットを生成するが、in-the-wildの運転シーンでは疎で限られた視野、部分的なオクルージョンのため性能が低い。 - 提案手法はこれらの問題を克服し、再構成・生成ベースの既存手法を上回る。

3. 技術・手法の肝は?

- 「reconstruct-then-generate」アプローチを採用。 - まず複数シーンで訓練されたocclusion-aware neural renderingを活用し、オブジェクトの高品質な潜在空間を構築。 - 次にその潜在空間上で動作するdiffusion modelを訓練する。 - これにより、in-the-wildのLiDARとカメラデータから完全な形状と外観を持つ3Dアセットを生成。

4. どうやって有効だと検証した?

- 既存の再構成ベースおよび生成ベースの手法と比較し、提案手法が優れていることを示した。 - 具体的な評価指標やデータセットは要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている既存のneural-renderingベース再構成手法やdiffusionベース生成モデル。 - 具体的な論文名は要旨からは不明だが、関連手法としてNeRF、latent diffusion modelsなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ze Yang, Jingkang Wang, Haowei Zhang, Sivabalan Manivasagam, Yun Chen, Raquel Urtasun

分類: cs.CV, cs.RO

原文アブストラクト

High-quality 3D assets for traffic participants are critical for multi-sensor simulation, which is essential for the safe end-to-end development of autonomy. Building assets from in-the-wild data is key for diversity and realism, but existing neural-rendering based reconstruction methods are slow and generate assets that render well only from viewpoints close to the original observations, limiting their usefulness in simulation. Recent diffusion-based generative models build complete and diverse assets, but perform poorly on in-the-wild driving scenes, where observed actors are captured under sparse and limited fields of view, and are partially occluded. In this work, we propose a 3D latent diffusion model that learns on in-the-wild LiDAR and camera data captured by a sensor platform and generates high-quality 3D assets with complete geometry and appearance. Key to our method is a "reconstruct-then-generate" approach that first leverages occlusion-aware neural rendering trained over multiple scenes to build a high-quality latent space for objects, and then trains a diffusion model that operates on the latent space. We show our method outperforms existing reconstruction and generation based methods, unlocking diverse and scalable content creation for simulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI