S3M: RGB-Dカメラを搭載したUAVのためのセマンティックセグメンテーションスパースマッピング
S3M: Semantic Segmentation Sparse Mapping for UAVs with RGB-D Camera
RGB-Dカメラを搭載したUAVが屋内環境でSLAMとセマンティックセグメンテーションを統合し、OctoMapを用いた軽量な3Dマップを構築するシステムを提案。GazeboシミュレーションとJetson Xavier AGXでの実機検証を行った。
著者: Thanh Nguyen Canh, Van-Truong Nguyen, Xiem HoangVan, Armagan Elibol, Nak Young Chong
分類: cs.RO
原文アブストラクト
Unmanned Aerial Vehicles (UAVs) hold immense potential for critical applications, such as search and rescue operations, where accurate perception of indoor environments is paramount. However, the concurrent amalgamation of localization, 3D reconstruction, and semantic segmentation presents a notable hurdle, especially in the context of UAVs equipped with constrained power and computational resources. This paper presents a novel approach to address challenges in semantic information extraction and utilization within UAV operations. Our system integrates state-of-the-art visual SLAM to estimate a comprehensive 6-DoF pose and advanced object segmentation methods at the back end. To improve the computational and storage efficiency of the framework, we adopt a streamlined voxel-based 3D map representation - OctoMap to build a working system. Furthermore, the fusion algorithm is incorporated to obtain the semantic information of each frame from the front-end SLAM task, and the corresponding point. By leveraging semantic information, our framework enhances the UAV's ability to perceive and navigate through indoor spaces, addressing challenges in pose estimation accuracy and uncertainty reduction. Through Gazebo simulations, we validate the efficacy of our proposed system and successfully embed our approach into a Jetson Xavier AGX unit for real-world applications.
関連論文
- ReForesight: 動的セマンティックマッピングのための遮蔽に頑健な再同定と将来占有予測セマンティックマッピング
- 動的オントロジーに基づくセマンティックマッピングのためのハイブリッドパイプラインセマンティックマッピング
- SemanticXR: オブジェクトレベルのデバイス-クラウドアーキテクチャによる低消費電力・リアルタイムなセマンティックマッピングセマンティックマッピング
- 時空間認識に基づく効率的な連続セマンティックマッピングセマンティックマッピング
- ガウススプラッティングを用いた園芸環境の能動的セマンティックマッピングセマンティックマッピング
- SLIM-VDB: リアルタイム3D確率的セマンティックマッピングフレームワークセマンティックマッピング
