日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

SLAMarXiv:2611.12038

拡散事前分布と来歴認識を用いた動的環境向け単眼ガウシアンスプラッティングSLAM

DPGS-SLAM: Diffusion-Prior and Provenance-Aware Monocular Gaussian Splatting SLAM for Dynamic Visual Sensing

シェア:XThreadsFacebookLINEはてブBluesky

動的物体を含む環境で、拡散モデルによる背景補完と生成物の来歴管理を組み合わせ、遮蔽された静的背景を補いつつカメラ追跡と地図最適化の安定性を高める単眼RGB SLAMを提案した。

詳しい要約

1. どんなもの?

- 動的物体を含む環境でのdense mappingを目的としたmonocular RGB SLAMフレームワーク「DPGS-SLAM」 - Diffusion-PriorとProvenance-Awareを組み合わせた3D Gaussian splatting (3DGS) ベースのSLAM - 動的観測によるtrackingとreconstructionの汚染に対処 - 遮蔽された静的背景をdiffusionで暫定的に補完しつつmappingを行う

2. 先行研究と比べてどこがすごい?

- 既存の3DGS-SLAMは静的シーン仮定が破られると不安定になる問題があった - 動的観測を単純に除外すると遮蔽された静的背景が欠落・弱拘束になる問題に対処 - 生成された背景をprovenance labelで区別し、camera-pose推定やobserved-map最適化から除外する点が新しい - WildGS-SLAMと比較しStaDy4Dで平均PSNRを4.60 dB改善(monocular RGBのみ使用)

3. 技術・手法の肝は?

- optical-flowベースのmotion discoveryとSAM2による時間的一貫性のあるmask propagationで動的領域を同定 - 選択keyframeに対しfine-tuned diffusion inpainting modelで遮蔽領域の背景外観を生成 - Metric3D v2で完成画像からmetric depthを予測しprovisional Gaussian primitivesを初期化 - Provenance labelで生成primitivesと観測支持primitivesを区別し、生成内容をpose推定・map最適化から除外 - 遮蔽背景が可視化された際は該当生成primitivesを削除し、実RGB観測と予測depthから観測支持primitivesを独立初期化

4. どうやって有効だと検証した?

- TUM RGB-Dで平均ATE RMSE 1.2 cm、BONN RGB-Dで2.7 cmのcompetitiveなcamera trackingを達成 - StaDy4DでWildGS-SLAMに対し平均PSNRを4.60 dB改善(monocular RGB入力のみ) - 具体的なデータセット詳細や比較条件は要旨からは不明

5. 議論はある?

- 生成背景のprovisional表現と実観測への置換戦略の有効性が示唆される - diffusion生成内容をpose推定から除外する設計の妥当性や限界は要旨からは不明 - 動的物体の種類・規模やreal-time性、計算コストに関する議論は要旨からは不明

6. 次に読むべき論文は?

- WildGS-SLAM(比較対象の3DGS-SLAM) - SAM2 (segment anything model 2) - Metric3D v2 - diffusion inpainting model関連研究 - 3D Gaussian splatting (3DGS) および3DGS-SLAMの代表的先行研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifan Luo, Takafumi Matsumaru, Vibekananda Dutta, Xin He

分類: cs.RO, cs.CV

原文アブストラクト

This paper presents DPGS-SLAM (Diffusion-Prior and Provenance-Aware Monocular Gaussian Splatting SLAM) for dense mapping in environments containing dynamic objects. Dynamic observations can contaminate camera tracking and scene reconstruction in visual SLAM (simultaneous localization and mapping). Although 3DGS (3D Gaussian splatting) enables efficient dense mapping, existing 3DGS-SLAM systems may exhibit instability when dynamic objects violate their underlying static-scene assumption. Excluding dynamic observations can reduce their influence on tracking and mapping, but may leave occluded static backgrounds missing or weakly constrained. Our proposed DPGS-SLAM is a monocular RGB SLAM framework that supports provisional representations of insufficiently observed static backgrounds through asynchronous diffusion-based background completion and provenance-aware Gaussian mapping. Dynamic regions are identified through optical-flow-based motion discovery and temporally consistent mask propagation by SAM2 (segment anything model 2). For selected keyframes, a fine-tuned diffusion inpainting model generates plausible background appearance in occluded regions, while Metric3D v2 predicts metric depth from the completed images to initialize provisional Gaussian primitives. Provenance labels distinguish generated primitives from observation-supported primitives, excluding generated content from camera-pose estimation and observed-map optimization. When previously occluded backgrounds become visible, eligible generated primitives are removed, and observation-supported primitives are independently initialized from real RGB observations and predicted depth. Experimental results demonstrated competitive camera tracking, with average ATE RMSE values of 1.2 cm on TUM RGB-D and 2.7 cm on BONN RGB-D. On StaDy4D, DPGS-SLAM improved average PSNR by 4.60 dB over WildGS-SLAM using only monocular RGB input.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI