日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成/再ローカリゼーションarXiv:2505.15294

R3GS: 非制約画像コレクションにおけるロバストな再構成と再ローカリゼーションのためのガウシアンスプラッティング

R3GS: Gaussian Splatting for Robust Reconstruction and Relocalization in Unconstrained Image Collections

シェア:XThreadsFacebookLINEはてブBluesky

非制約画像から3Dガウシアンスプラッティングを用いてロバストに再構成し、照明変化に強い再ローカリゼーションを実現するフレームワークを提案。

詳しい要約

1. どんなもの?

- unconstrained な画像コレクション向けの robust な reconstruction と relocalization のフレームワーク R3GS を提案 - 3D Gaussian Splatting (3DGS) をベースに、training 中は hybrid 表現を用いる - 各 anchor は CNN の global feature と multiresolution hash grids による local feature を組み合わせる - 複数の shallow MLP が各 Gaussian の color, opacity, covariance を予測 - transient objects 対策、sky 領域対策、照明変化に頑健な relocalization を含む

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明 - ただし in-the-wild datasets 上で baseline 手法に対し state-of-the-art 性能を達成したと主張 - rendering fidelity の向上、training と rendering の効率改善、storage 要件の削減を同時に実現 - transient objects への汎化と sky 再構成誤差の低減を組み込んだ点が特徴として示唆される

3. 技術・手法の肝は?

- training 時に CNN global feature と multiresolution hash grids の local feature を anchor ごとに統合する hybrid 表現 - shallow MLP 群で各 Gaussian の color, opacity, covariance を予測 - lightweight human detection network を fine-tune し、visibility map を生成して transient objects の影響を軽減 - visibility map は posters, banners, cars など他 transient objects へ最小限の追加適応で汎化 - sky-handling として depth prior を制約に用い、大半径 sky sphere 表面に無限遠 sky を表現し floaters を削減 - 照明変化に頑健な relocalization 手法を導入し、再構成 3DGS scene 内で camera pose を推定

4. どうやって有効だと検証した?

- in-the-wild datasets 上で baseline 手法と比較し state-of-the-art 性能を達成したと報告 - rendering fidelity、training と rendering の効率、storage 要件の観点で改善を主張 - 具体的なデータセット名、指標、比較手法、ablation の詳細は要旨からは不明

5. 議論はある?

- transient objects 対策として human detection network の fine-tune と visibility map の汎化を利用する点の限界や失敗ケースは要旨からは不明 - sky-handling における depth prior 制約の感度や sky sphere 設定の影響は要旨からは不明 - relocalization の照明変化以外の変化(視点、季節、動物体など)への頑健性は要旨からは不明 - コードは採択後に open-source 化予定と記載

6. 次に読むべき論文は?

- 3D Gaussian Splatting (3DGS) - multiresolution hash grids - NeRF 系の in-the-wild 再構成手法 - transient object 除去に関する研究 - visibility map を用いた再構成手法 - sky modeling / depth prior を用いた屋外 scene 再構成 - 3DGS ベースの relocalization 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xu yan, Zhaohui Wang, Rong Wei, Jingbo Yu, Dong Li, Xiangde Liu

分類: cs.CV, cs.GR, cs.LG, cs.RO

原文アブストラクト

We propose R3GS, a robust reconstruction and relocalization framework tailored for unconstrained datasets. Our method uses a hybrid representation during training. Each anchor combines a global feature from a convolutional neural network (CNN) with a local feature encoded by the multiresolution hash grids [2]. Subsequently, several shallow multi-layer perceptrons (MLPs) predict the attributes of each Gaussians, including color, opacity, and covariance. To mitigate the adverse effects of transient objects on the reconstruction process, we ffne-tune a lightweight human detection network. Once ffne-tuned, this network generates a visibility map that efffciently generalizes to other transient objects (such as posters, banners, and cars) with minimal need for further adaptation. Additionally, to address the challenges posed by sky regions in outdoor scenes, we propose an effective sky-handling technique that incorporates a depth prior as a constraint. This allows the inffnitely distant sky to be represented on the surface of a large-radius sky sphere, signiffcantly reducing ffoaters caused by errors in sky reconstruction. Furthermore, we introduce a novel relocalization method that remains robust to changes in lighting conditions while estimating the camera pose of a given image within the reconstructed 3DGS scene. As a result, R3GS significantly enhances rendering ffdelity, improves both training and rendering efffciency, and reduces storage requirements. Our method achieves state-of-the-art performance compared to baseline methods on in-the-wild datasets. The code will be made open-source following the acceptance of the paper.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI