日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D生成arXiv:2508.21542

単一画像から完全なガウシアンスプラットを生成する拡散モデル

Complete Gaussian Splats from a Single Image with Denoising Diffusion Models

シェア:XThreadsFacebookLINEはてブBluesky

1枚の画像から、隠れた部分も含めた完全な3Dガウシアンスプラット表現を生成する拡散モデルベースの手法を提案。

詳しい要約

1. どんなもの?

- 単一画像から3D scene全体をGaussian splatsとして再構成する手法 - 入力は1枚の画像のみ、推論時にoccluded/未観測領域も含めて補完 - latent diffusion modelによりGaussian splatsの分布を生成 - 360度の高品質レンダリングを目指す

2. 先行研究と比べてどこがすごい?

- 従来法はregression-basedで単一の"mode"を予測 - その結果、blurriness・非現実性・複数解の欠如が生じる - 従来法は背景から切り離した物体限定、可視面のみ、入力視点から遠い外挿不可などの部分対応 - 提案法はgenerative formulationで3D表現の分布を学習し多様な解を扱う

3. 技術・手法の肝は?

- 単一画像を条件としたGaussian splatsの分布を学習するgenerative formulation - ground-truth 3Dデータ不足に対処するためVariational AutoReconstructorを提案 - 2D画像のみからself-supervisedにlatent spaceを学習 - そのlatent space上でdiffusion modelを訓練

4. どうやって有効だと検証した?

- 要旨からは不明 - 定性的にはfaithfulな再構成と多様なサンプル生成、occluded surface補完による360度レンダリングを主張

5. 議論はある?

- 要旨からは不明 - 単一画像からの未観測面補完は曖昧性が高く、複数解の扱いが論点 - ground-truth 3Dデータ欠如への対処が設計上の課題として示唆

6. 次に読むべき論文は?

- Gaussian splatting(3D Gaussian Splatting) - latent diffusion model - Variational Autoencoder(VAE)系のself-supervised学習 - 単一画像からの3D再構成(single-image 3D reconstruction)関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziwei Liao, Mohamed Sayed, Steven L. Waslander, Sara Vicente, Daniyar Turmukhambetov, Michael Firman

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Gaussian splatting typically requires dense observations of the scene and can fail to reconstruct occluded and unobserved areas. We propose a latent diffusion model to reconstruct a complete 3D scene with Gaussian splats, including the occluded parts, from only a single image during inference. Completing the unobserved surfaces of a scene is challenging due to the ambiguity of the plausible surfaces. Conventional methods use a regression-based formulation to predict a single "mode" for occluded and out-of-frustum surfaces, leading to blurriness, implausibility, and failure to capture multiple possible explanations. Thus, they often address this problem partially, focusing either on objects isolated from the background, reconstructing only visible surfaces, or failing to extrapolate far from the input views. In contrast, we propose a generative formulation to learn a distribution of 3D representations of Gaussian splats conditioned on a single input image. To address the lack of ground-truth training data, we propose a Variational AutoReconstructor to learn a latent space only from 2D images in a self-supervised manner, over which a diffusion model is trained. Our method generates faithful reconstructions and diverse samples with the ability to complete the occluded surfaces for high-quality 360-degree renderings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI