日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

SLAMarXiv:2306.01891

DH-PTAM: ステレオイベントカメラとフレームカメラを融合した深層ハイブリッド並列追跡・マッピングシステム

DH-PTAM: A Deep Hybrid Stereo Events-Frames Parallel Tracking And Mapping System

シェア:XThreadsFacebookLINEはてブBluesky

ステレオイベントカメラと通常フレームカメラを時空間同期して統合し、深層学習による特徴抽出と並列追跡・マッピング最適化層を組み合わせることで、悪条件や大規模HDR環境でも高精度・高ロバストなSLAMを実現した。

著者: Abanob Soliman, Fabien Bonardi, Désiré Sidibé, Samia Bouchafa

分類: cs.CV, cs.RO, eess.IV, eess.SP

原文アブストラクト

This paper presents a robust approach for a visual parallel tracking and mapping (PTAM) system that excels in challenging environments. Our proposed method combines the strengths of heterogeneous multi-modal visual sensors, including stereo event-based and frame-based sensors, in a unified reference frame through a novel spatio-temporal synchronization of stereo visual frames and stereo event streams. We employ deep learning-based feature extraction and description for estimation to enhance robustness further. We also introduce an end-to-end parallel tracking and mapping optimization layer complemented by a simple loop-closure algorithm for efficient SLAM behavior. Through comprehensive experiments on both small-scale and large-scale real-world sequences of VECtor and TUM-VIE benchmarks, our proposed method (DH-PTAM) demonstrates superior performance in terms of robustness and accuracy in adverse conditions, especially in large-scale HDR scenarios. Our implementation's research-based Python API is publicly available on GitHub for further research and development: https://github.com/AbanobSoliman/DH-PTAM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI