HilDA: 拡散モデルを用いた階層的蒸留による自己教師ありLiDAR事前学習の推進
HilDA: Hierarchical Distillation with Diffusion for Advancing Self-Supervised LiDAR Pre-training
LiDARバックボーンの自己教師あり事前学習フレームワークHilDAを提案。視覚基盤モデルからの階層的蒸留と時間的占有拡散目的を組み合わせ、3D物体検出やシーン流れなどの性能を向上させた。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Maciej Wozniak, Jesper Ericsson, Hariprasath Govindarajan, Truls Nyberg, Thomas Gustafsson, Patric Jensfelt, Olov Andersson
分類: cs.CV, cs.AI, cs.RO
原文アブストラクト
Leveraging Vision Foundation Models (VFMs) for camera-to-LiDAR knowledge distillation offers a promising solution to the scarcity of annotated data needed to represent the immense geometric and kinematic diversity of real-world autonomous driving (AD). However, current approaches typically treat VFMs as black-box teachers, relying exclusively on frame-wise feature similarity. Consequently, they do not fully exploit the teacher's layer-wise semantic structure and global context, as well as the rich spatiotemporal information inherent in LiDAR sequences. We propose HilDA, a self-supervised pretraining framework for LiDAR backbones that better captures the semantic what and geometric where needed for driving tasks. HilDA combines hierarchical distillation comprising multi-layer distillation for progressive semantic alignment and global context distillation for scene-level semantics, with a temporal occupancy diffusion objective promoting spatiotemporal consistency. Models pre-trained with HilDA achieve state-of-the-art results on cross-modal distillation benchmarks and outperform models trained via prior distillation approaches on 3D object detection, scene flow, and semantic occupancy prediction. Code available at: https://maxiuw.github.io/hilda.
関連論文
- Vernata: LiDAR点群表現の自己教師あり学習自己教師あり学習
- マルチモダリティを教師とする自己教師あり学習：テスト環境への特化自己教師あり学習
- OctoSense: マルチモーダルロボット知覚のための自己教師あり学習自己教師あり学習
- 構造的不変性からの自己教師あり学習自己教師あり学習
- 海底画像に対する位置情報正則化自己教師あり特徴学習の検討自己教師あり学習
- S3PT: 自動運転のための自己教師あり事前学習を強化するシーン意味論と構造ガイド付きクラスタリング自己教師あり学習
