時間的重複予測:LiDAR移動物体セグメンテーションのための自己教師あり事前学習法
Temporal Overlapping Prediction: A Self-supervised Pre-training Method for LiDAR Moving Object Segmentation
LiDAR点群の移動物体セグメンテーション向けに、隣接スキャン間で重複する点の占有状態を予測する自己教師あり事前学習法TOPを提案し、ラベル付け負担を軽減しつつ性能を向上させた。
著者: Ziliang Miao, Runjian Chen, Yixi Cai, Buwei He, Wenquan Zhao, Wenqi Shao, Bo Zhang, Fu Zhang
分類: cs.CV, cs.RO
原文アブストラクト
Moving object segmentation (MOS) on LiDAR point clouds is crucial for autonomous systems like self-driving vehicles. Previous supervised approaches rely heavily on costly manual annotations, while LiDAR sequences naturally capture temporal motion cues that can be leveraged for self-supervised learning. In this paper, we propose Temporal Overlapping Prediction (TOP), a self-supervised pre-training method that alleviate the labeling burden for MOS. TOP explores the temporal overlapping points that commonly observed by current and adjacent scans, and learns spatiotemporal representations by predicting the occupancy states of temporal overlapping points. Moreover, we utilize current occupancy reconstruction as an auxiliary pre-training objective, which enhances the current structural awareness of the model. We conduct extensive experiments and observe that the conventional metric Intersection-over-Union (IoU) shows strong bias to objects with more scanned points, which might neglect small or distant objects. To compensate for this bias, we introduce an additional metric called mIoU_obj to evaluate object-level performance. Experiments on nuScenes and SemanticKITTI show that TOPoutperforms both supervised training-from-scratch baseline and other self-supervised pre-training baselines by up to 28.77% relative improvement, demonstrating strong transferability across LiDAR setups and generalization to other tasks. Code and pre-trained models will be publicly available upon publication.
関連論文
- HiPFuse: エッジデバイス上のロボット知覚向けリアルタイムLiDARセマンティックセグメンテーションLiDARセグメンテーション
- レイ整合・スキャン認識型融合ネットワークによるLiDARセマンティックセグメンテーションLiDARセグメンテーション
- BikeScenes: 自転車向けオンラインLiDARセマンティックセグメンテーションLiDARセグメンテーション
- 不完全ラベル下でのLiDARセマンティックセグメンテーションにおける単一ドメイン汎化の探求LiDARセグメンテーション
- 点-平面投影による小規模データでの高精度LiDARセマンティックセグメンテーションLiDARセグメンテーション
- 不確実性を考慮した学習によるオープンセットLiDARパノプティックセグメンテーションLiDARセグメンテーション
