MaskedFusion360:カメラ特徴量を手がかりにLiDARデータを再構成
MaskedFusion360: Reconstruct LiDAR Data by Querying Camera Features
魚眼カメラと球面投影LiDARの特徴量をマスク付きオートエンコーダで融合し、遮蔽されたLiDARデータを自己教師あり学習で再構成する手法を提案。
著者: Royden Wagner, Marvin Klemp, Carlos Fernandez Lopez
分類: cs.CV, cs.RO
原文アブストラクト
In self-driving applications, LiDAR data provides accurate information about distances in 3D but lacks the semantic richness of camera data. Therefore, state-of-the-art methods for perception in urban scenes fuse data from both sensor types. In this work, we introduce a novel self-supervised method to fuse LiDAR and camera data for self-driving applications. We build upon masked autoencoders (MAEs) and train deep learning models to reconstruct masked LiDAR data from fused LiDAR and camera features. In contrast to related methods that use birds-eye-view representations, we fuse features from dense spherical LiDAR projections and features from fish-eye camera crops with a similar field of view. Therefore, we reduce the learned spatial transformations to moderate perspective transformations and do not require additional modules to generate dense LiDAR representations. Code is available at: https://github.com/KIT-MRT/masked-fusion-360
関連論文
- SDCM: 車載ネットワークにおけるレーダー・視覚3次元物体検出のための模擬稠密化と補償モデリング融合センサーフュージョン
- CaRLi-V: カメラ・レーダー・LiDAR融合による点単位3D速度推定センサーフュージョン
- カメラによる道路レイアウト抽出を活用したT字路でのmmWaveレーダーによる見通し外歩行者位置推定センサーフュージョン
- 不確かさ駆動型レーダー慣性融合による瞬時3次元自己速度推定センサーフュージョン
- 任意のLiDARをガイドとする拡散事前分布による教師なしレーダー点群強調センサーフュージョン
- 画像と4Dレーダースペクトルの深度認識融合による3D物体検出センサーフュージョン
