自律システムのための転移可能なマルチモーダル知覚表現学習に向けて:NeRF教師ありマスク付きオートエンコーダ
Towards Transferable Multi-modal Perception Representation Learning for Autonomy: NeRF-Supervised Masked AutoEncoder
LiDAR点群と画像をマスクしてNeRFでレンダリングし元の信号を再構成する自己教師あり事前学習フレームワークNS-MAEを提案し、3D物体検出やBEVマップセグメンテーションへの転移性能を示した。
著者: Xiaohao Xu
分類: cs.CV, cs.AI, cs.LG, cs.RO
原文アブストラクト
This work proposes a unified self-supervised pre-training framework for transferable multi-modal perception representation learning via masked multi-modal reconstruction in Neural Radiance Field (NeRF), namely NeRF-Supervised Masked AutoEncoder (NS-MAE). Specifically, conditioned on certain view directions and locations, multi-modal embeddings extracted from corrupted multi-modal input signals, i.e., Lidar point clouds and images, are rendered into projected multi-modal feature maps via neural rendering. Then, original multi-modal signals serve as reconstruction targets for the rendered multi-modal feature maps to enable self-supervised representation learning. Extensive experiments show that the representation learned via NS-MAE shows promising transferability for diverse multi-modal and single-modal (camera-only and Lidar-only) perception models on diverse 3D perception downstream tasks (3D object detection and BEV map segmentation) with diverse amounts of fine-tuning labeled data. Moreover, we empirically find that NS-MAE enjoys the synergy of both the mechanism of masked autoencoder and neural radiance field. We hope this study can inspire exploration of more general multi-modal representation learning for autonomous agents.
関連論文
- BODYinTRANSIT-Lab:身体知覚と情動体験の感覚駆動型変化を調べるマルチモーダルデータセットマルチモーダル知覚
- UniOMA:最適輸送によるロボット知覚のための統合マルチモーダル構造アライメントマルチモーダル知覚
- ズームなしで詳細を見るv2:汎化可能なマルチモーダル知覚のための証拠連結マルチモーダル知覚
- SenseWeather: 極限環境下でのロボット知覚を支えるマルチモーダルセンシングマルチモーダル知覚
- ROMA: 実世界の物体中心マルチセンサ能動知覚のためのLLMシステムマルチモーダル知覚
- ReSPEC: 動的環境におけるオンライン多スペクトルセンサ再構成フレームワークマルチモーダル知覚
