車両情報に基づくマルチモーダル融合技術:サーベイ
Multi-modal Fusion Technology based on Vehicle Information: A Survey
自動運転の知覚におけるマルチモーダル融合を、カメラやLiDARだけでなく車両底部センサの運動情報(加速度・車速・回転角など)も活用する観点から整理したサーベイ論文。
著者: Yan Gong, Jianli Lu, Jiayi Wu, Wenzhuo Liu
分類: cs.RO, cs.CV
原文アブストラクト
Multi-modal fusion is a basic task of autonomous driving system perception, which has attracted many scholars' interest in recent years. The current multi-modal fusion methods mainly focus on camera data and LiDAR data, but pay little attention to the kinematic information provided by the bottom sensors of the vehicle, such as acceleration, vehicle speed, angle of rotation. These information are not affected by complex external scenes, so it is more robust and reliable. In this paper, we introduce the existing application fields of vehicle bottom information and the research progress of related methods, as well as the multi-modal fusion methods based on bottom information. We also introduced the relevant information of the vehicle bottom information data set in detail to facilitate the research as soon as possible. In addition, new future ideas of multi-modal fusion technology for autonomous driving tasks are proposed to promote the further utilization of vehicle bottom information.
関連論文
- MatchFusion: 時空間マルチモーダル自動運転のための明示的・暗黙的インスタンスマッチングマルチモーダル融合
- LiDAR-BIND-T: ロボティクス応用に向けた時間的一貫性を考慮したセンサモダリティ変換と融合の改良マルチモーダル融合
- t-READi: 自動運転向けTransformer駆動の堅牢で効率的なマルチモーダル推論マルチモーダル融合
- スコアに合わせて演じる:ロボットマニピュレーションのための段階誘導型動的マルチセンサ融合マルチモーダル融合
- 潜在コンタクトを活用したカメラ-LiDAR融合による難条件下の場所認識マルチモーダル融合
- 遮蔽や情報欠損に対応するマルチビュー視覚融合のためのアンサンブル学習:実世界データによる評価と運転者手活動認識への応用マルチモーダル融合
