DH-PTAM: ステレオイベントカメラとフレームカメラを融合した深層ハイブリッド並列追跡・マッピングシステム
DH-PTAM: A Deep Hybrid Stereo Events-Frames Parallel Tracking And Mapping System
ステレオイベントカメラと通常フレームカメラを時空間同期して統合し、深層学習による特徴抽出と並列追跡・マッピング最適化層を組み合わせることで、悪条件や大規模HDR環境でも高精度・高ロバストなSLAMを実現した。
著者: Abanob Soliman, Fabien Bonardi, Désiré Sidibé, Samia Bouchafa
分類: cs.CV, cs.RO, eess.IV, eess.SP
原文アブストラクト
This paper presents a robust approach for a visual parallel tracking and mapping (PTAM) system that excels in challenging environments. Our proposed method combines the strengths of heterogeneous multi-modal visual sensors, including stereo event-based and frame-based sensors, in a unified reference frame through a novel spatio-temporal synchronization of stereo visual frames and stereo event streams. We employ deep learning-based feature extraction and description for estimation to enhance robustness further. We also introduce an end-to-end parallel tracking and mapping optimization layer complemented by a simple loop-closure algorithm for efficient SLAM behavior. Through comprehensive experiments on both small-scale and large-scale real-world sequences of VECtor and TUM-VIE benchmarks, our proposed method (DH-PTAM) demonstrates superior performance in terms of robustness and accuracy in adverse conditions, especially in large-scale HDR scenarios. Our implementation's research-based Python API is publicly available on GitHub for further research and development: https://github.com/AbanobSoliman/DH-PTAM.
関連論文
- エッジ上でのRGB-D SLAM:Raspberry Pi 5におけるRTAB-MapとORB-SLAM3のベンチマークとプロファイリングSLAM
- 拡散事前分布と来歴認識を用いた動的環境向け単眼ガウシアンスプラッティングSLAMSLAM
- V3DSAM: 意味・幾何学的ループ検証と幾何学固定の永続インスタンスマッピングによるフィードフォワード高密度SLAMSLAM
- DASH-SLAM: 深度スケール伝播によるキャリブレーション不要のメトリック単眼SLAMSLAM
- 暗黙的意味論と系列一貫性ループ閉じ込めによるVGGTベースSLAMのスケールアンカリングSLAM
- 磁気慣性を密結合したフィールドロボット向けSLAMシステムSLAM
