MambaMOS: 動きを考慮した状態空間モデルによるLiDARベース3次元移動物体セグメンテーション
MambaMOS: LiDAR-based 3D Moving Object Segmentation with Motion-aware State Space Model
LiDAR点群の時系列情報から移動物体を切り出すタスクに対し、時間情報と空間情報の結合を強化する埋め込みと、物体の動きの時間的相関を捉える状態空間モデルを組み合わせた手法を提案し、ベンチマークで最高精度を達成した。
著者: Kang Zeng, Hao Shi, Jiacheng Lin, Siyu Li, Jintao Cheng, Kaiwei Wang, Zhiyong Li, Kailun Yang
分類: cs.CV, cs.MM, cs.RO, eess.IV
原文アブストラクト
LiDAR-based Moving Object Segmentation (MOS) aims to locate and segment moving objects in point clouds of the current scan using motion information from previous scans. Despite the promising results achieved by previous MOS methods, several key issues, such as the weak coupling of temporal and spatial information, still need further study. In this paper, we propose a novel LiDAR-based 3D Moving Object Segmentation with Motion-aware State Space Model, termed MambaMOS. Firstly, we develop a novel embedding module, the Time Clue Bootstrapping Embedding (TCBE), to enhance the coupling of temporal and spatial information in point clouds and alleviate the issue of overlooked temporal clues. Secondly, we introduce the Motion-aware State Space Model (MSSM) to endow the model with the capacity to understand the temporal correlations of the same object across different time steps. Specifically, MSSM emphasizes the motion states of the same object at different time steps through two distinct temporal modeling and correlation steps. We utilize an improved state space model to represent these motion differences, significantly modeling the motion states. Finally, extensive experiments on the SemanticKITTI-MOS and KITTI-Road benchmarks demonstrate that the proposed MambaMOS achieves state-of-the-art performance. The source code is publicly available at https://github.com/Terminal-K/MambaMOS.
関連論文
- 隠れマルコフモデルによる点群データ中の移動物体セグメンテーション移動物体セグメンテーション
- HeLiMOS: 異種LiDARセンサ向け3D点群移動物体セグメンテーションデータセット移動物体セグメンテーション
- StreamMOS: マルチビュー知覚とデュアルスパンメモリによるストリーミング移動物体セグメンテーション移動物体セグメンテーション
- RadarMOSEVE: レーダのみで移動物体セグメンテーションと自己速度推定を行う時空間トランスフォーマネットワーク移動物体セグメンテーション
- 3D-SeqMOS: 自動運転のための新しい逐次3D移動物体セグメンテーション移動物体セグメンテーション
- 動的環境における volumetric belief 構築のための地図ベース移動物体セグメンテーション移動物体セグメンテーション
