SemGauss-SLAM:密なセマンティックガウシアンスプラッティングSLAM
SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM
3Dガウシアン表現にセマンティック特徴を埋め込み、セマンティック情報を活用したバンドル調整でカメラ姿勢と3D表現を同時最適化する密なセマンティックSLAMを提案。
著者: Siting Zhu, Renjie Qin, Guangming Wang, Jiuming Liu, Hesheng Wang
分類: cs.RO, cs.CV
原文アブストラクト
We propose SemGauss-SLAM, a dense semantic SLAM system utilizing 3D Gaussian representation, that enables accurate 3D semantic mapping, robust camera tracking, and high-quality rendering simultaneously. In this system, we incorporate semantic feature embedding into 3D Gaussian representation, which effectively encodes semantic information within the spatial layout of the environment for precise semantic scene representation. Furthermore, we propose feature-level loss for updating 3D Gaussian representation, enabling higher-level guidance for 3D Gaussian optimization. In addition, to reduce cumulative drift in tracking and improve semantic reconstruction accuracy, we introduce semantic-informed bundle adjustment. By leveraging multi-frame semantic associations, this strategy enables joint optimization of 3D Gaussian representation and camera poses, resulting in low-drift tracking and accurate semantic mapping. Our SemGauss-SLAM demonstrates superior performance over existing radiance field-based SLAM methods in terms of mapping and tracking accuracy on Replica and ScanNet datasets, while also showing excellent capabilities in high-precision semantic segmentation and dense semantic mapping.
関連論文
- ベイズ推論を用いた精密農業におけるセマンティックSLAMセマンティックSLAM
- 拡張現実を用いた協調的セマンティックSLAMのための人間インタラクションセマンティックSLAM
- GSFF-SLAM: 特徴場を用いた3DセマンティックガウシアンスプラッティングSLAMセマンティックSLAM
- ローリングシャッターカメラと低精度INSを用いた屋外環境におけるセマンティックSLAMセマンティックSLAM
- Hier-SLAM: 階層的カテゴリカルガウシアンスプラッティングによるSLAMのセマンティクス大規模化セマンティックSLAM
- NEDS-SLAM: 3Dガウシアンスプラッティングを用いたニューラル明示的密セマンティックSLAMフレームワークセマンティックSLAM
