日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2607.03209

3D基盤モデルで初期化する高速ガウススプラッティング

Fast 3D Foundation Model Initialized Gaussian Splatting

シェア:XThreadsFacebookLINEはてブBluesky

従来のSfMを使わず、3D基盤モデルでカメラ姿勢と点群を初期化し、深度ガイド付き損失でカメラ姿勢とガウスプリミティブを同時最適化することで、少ない視点数でも高速に高品質な3DGS再構成を実現する手法を提案した。

詳しい要約

1. どんなもの?

本論文は、従来のStructure-from-Motion (SfM)を用いずに、3D Foundation Models (3DFMs)を利用してカメラ姿勢と点群の初期化を行い、高品質な3D Gaussian Splatting (3DGS)再構成を高速に実現する手法を提案している。初期化が粗くても、depth-guided loss関数によりカメラ姿勢とGaussianプリミティブを同時最適化し、50〜60枚の入力ビューからでも高速に収束させる。さらに、スパースビューでの品質向上のため、MLPベースの姿勢精緻化モジュールと、Foundation Modelからのdepth-guided supervisionを導入する。Mip-NeRF 360、Tanks and Temples、RobustNeRFでの実験により、競争力のある再構成品質(PSNR 23.61 dB、LPIPS 0.19)を達成しつつ、シーンあたり約3分のトレーニング時間に短縮する。ロボティクス、VR、自律ナビゲーションなどのニアリアルタイム応用に適する。

2. 先行研究と比べてどこがすごい?

従来の3DGS再構成はSfMに依存しており、SfMは時間がかかり、テクスチャのない領域や視点が少ない場合に失敗することがある。本手法はSfMを不要にし、3DFMsによる初期化とdepth-guided lossを用いることで、粗い初期化からでも高速に収束する。また、スパースビューでの品質向上のためのMLPベースの姿勢精緻化モジュールを導入している点が新しい。従来のSfMベースのパイプラインに比べて、トレーニング時間を大幅に短縮(約3分)しつつ、競争力のある品質を達成している。

3. 技術・手法の肝は?

手法の肝は、3DFMsを用いたカメラ姿勢と点群の初期化、depth-guided loss関数によるカメラ姿勢とGaussianプリミティブの同時最適化、そしてMLPベースの姿勢精緻化モジュールの導入である。具体的には、3DFMから得られた初期カメラ姿勢と点群を出発点とし、depth情報をガイドとして損失を計算することで、粗い初期化でも最適化が安定して収束する。さらに、スパースビューではMLPがカメラ姿勢を精緻化し、depth-guided supervisionが再構成品質を向上させる。

4. どうやって有効だと検証した?

Mip-NeRF 360、Tanks and Temples、RobustNeRFの各データセットで実験を行い、再構成品質(PSNR、LPIPS)とトレーニング時間を評価した。結果として、PSNR 23.61 dB、LPIPS 0.19を達成し、シーンあたり約3分のトレーニング時間で既存手法と競争力のある品質を実現した。

5. 議論はある?

要旨からは、提案手法の限界や議論についての詳細は不明である。ただし、3DFMsに依存するため、3DFMの性能が初期化の質に影響する可能性や、スパースビューでの品質向上が限定的である可能性などが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

要旨で参照されているデータセット(Mip-NeRF 360、Tanks and Temples、RobustNeRF)や関連手法(3D Foundation Models、3D Gaussian Splatting)に関する論文が挙げられる。具体的には、3D Gaussian Splattingの元論文や、3D Foundation Modelsの代表的な手法(例:DUSt3R、MASt3R)などが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anurag Dalal, Daniel Hagen, Kjell G. Robbersmyr, Kristian Muri Knausgård

分類: cs.CV, cs.GR, cs.RO

原文アブストラクト

This paper introduces a fast method for high-quality 3D Gaussian Splatting (3DGS) reconstruction without traditional Structure-from-Motion (SfM). The proposed approach leverages 3D Foundation Models (3DFMs) for camera pose and point-cloud initialization, then jointly optimizes both camera poses and Gaussian primitives using a depth-guided loss function. This enables fast convergence even from rough initialization with as few as 50-60 input views. To further improve reconstruction quality in sparse-view scenarios, an MLP-based pose refinement module is introduced alongside depth-guided supervision from the foundation model. Extensive experiments on Mip-NeRF 360, Tanks and Temples, and RobustNeRF demonstrate that the proposed method achieves competitive reconstruction quality (23.61 dB PSNR, 0.19 LPIPS) while reducing training time to approximately three minutes per scene. The proposed method produces ready-to-use 3DGS models at a fraction of the time required by existing pipelines, making it suitable for near real-time applications in robotics, VR, and autonomous navigation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI