日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2606.22091

ACEsplat: RGBと姿勢のみによる高速3Dガウスシーン回帰

ACEsplat: Accelerated 3D Gaussian Scene Regression via RGB and Poses Only

シェア:XThreadsFacebookLINEはてブBluesky

外部の3D事前情報を使わず、RGB画像とカメラ姿勢のみから3Dガウス表現を高速に再構成するフレームワークを提案。自己教師ありのシーン座標回帰で内部の幾何事前を構築し、軽量な初期化ヘッドで3DGS最適化を行う。

詳しい要約

1. どんなもの?

- RGB画像とcamera posesのみからper-scene 3D Gaussian Splatting (3DGS) を高速に最適化するフレームワーク - 外部の3D事前情報(SfM point cloudsやdepth estimates)を必要としない - 2段階パイプライン: (1) self-supervised scene coordinate regression (SCR) で内部geometry priorを4-5分で構築、(2) SCR featuresとcoordinate priorsを軽量なGaussian initialization headで融合し、per-scene 3DGS最適化 - 単一GPUで15-25分以内にSCR mappingと3DGS再構成を完了 - ロボティクスやmixed-realityの迅速なシーンセットアップ向け

2. 先行研究と比べてどこがすごい?

- 従来のper-scene 3DGSはSfM point cloudsやdepth estimatesなどの外部幾何初期化に依存し、オンサイト展開で遅く脆弱な場合がある - ACEsplatは外部3D事前情報を不要とし、RGBとposesのみで再構成 - 静的視点レンダリングでWayspots (real-time SLAM poses) 29.11 dB PSNR、Cambridge Landmarks (SfM-refined poses) 33.20 dB PSNRを達成 - RealEstate10K sparse-view novel view synthesisで2-view設定において競争力のある画像忠実度 - 15-25分で完結する実用的なRGB+pose-onlyソリューション

3. 技術・手法の肝は?

- 2段階パイプライン - 第1段階: self-supervised scene coordinate regression (SCR) モジュールが内部geometry priorを4-5分で構築 - 第2段階: SCR featuresとcoordinate priorsを軽量なGaussian initialization headで融合し、per-scene 3DGS最適化を実行 - 外部3D事前情報(SfM modelsやsupervised depth maps)を必要としない - RGB画像とcamera posesのみを入力とする

4. どうやって有効だと検証した?

- 静的視点レンダリング: Wayspotsでreal-time SLAM posesを使用し29.11 dB PSNR、Cambridge LandmarksでSfM-refined posesを使用し33.20 dB PSNR - RealEstate10K sparse-view novel view synthesis: 挑戦的な2-view設定で競争力のある画像忠実度を達成 - 単一GPU上でscene-specific SCR mappingと3DGS再構成を15-25分以内に完了

5. 議論はある?

- 要旨からは不明 - 外部3D事前情報なしでの性能限界や、動的シーンへの適用可能性、他のデータセットでの汎化性能などは言及されていない

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 3D Gaussian Splatting (3DGS), scene coordinate regression (SCR), SfM point clouds, depth estimates - 関連手法: SfM (Structure from Motion), SLAM, novel view synthesis - 同分野の定番: NeRF (Neural Radiance Fields), Instant-NGP, Plenoxelsなど

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingkai Liu, Haohua Que, Dikai Fan, Haojia Gao, Tianle Zhu, Handong Yao, Qian Zhang, Ruopeng Zhang, Xianliang Huang, Fei Qiao

分類: cs.RO

原文アブストラクト

Per-scene 3D Gaussian Splatting (3DGS) enables high-fidelity rendering, but practical robotic and AR scene capture pipelines often depend on external geometric initialization (e.g., SfM point clouds or depth estimates), which can be slow and brittle in on-site deployment. We present ACEsplat, a fast per-scene optimization framework that reconstructs 3D Gaussian representations from RGB images and camera poses only, without requiring external 3D priors (e.g., precomputed SfM models or supervised depth maps). ACEsplat uses a two-stage pipeline: (1) a self-supervised scene coordinate regression (SCR) module builds an internal geometry prior within 4--5 minutes; (2) SCR features and coordinate priors are fused by a lightweight Gaussian initialization head, followed by per-scene 3DGS optimization. On static-view rendering, ACEsplat achieves 29.11 dB PSNR on Wayspots with real-time SLAM poses and 33.20 dB on Cambridge Landmarks with SfM-refined poses. On RealEstate10K sparse-view novel view synthesis, it achieves competitive image fidelity under a challenging 2-view setting. ACEsplat completes scene-specific SCR mapping and 3DGS reconstruction within 15--25 minutes on a single GPU, making it a practical RGB+pose-only solution for rapid scene setup in robotics and mixed-reality applications.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI