単眼動画によるセマンティックセグメンテーションと深度推定のブートストラップ自己教師あり学習
Bootstrapped Self-Supervised Training with Monocular Video for Semantic Segmentation and Depth Estimation
ラベル付きデータで事前学習したモデルを、単眼動画の時間的一貫性を利用した自己教師あり学習でさらに改善し、セグメンテーションと深度推定の両方で性能向上を実現した。
著者: Yihao Zhang, John J. Leonard
分類: cs.CV, cs.RO
原文アブストラクト
For a robot deployed in the world, it is desirable to have the ability of autonomous learning to improve its initial pre-set knowledge. We formalize this as a bootstrapped self-supervised learning problem where a system is initially bootstrapped with supervised training on a labeled dataset and we look for a self-supervised training method that can subsequently improve the system over the supervised training baseline using only unlabeled data. In this work, we leverage temporal consistency between frames in monocular video to perform this bootstrapped self-supervised training. We show that a well-trained state-of-the-art semantic segmentation network can be further improved through our method. In addition, we show that the bootstrapped self-supervised training framework can help a network learn depth estimation better than pure supervised training or self-supervised training.
関連論文
- Vernata: LiDAR点群表現の自己教師あり学習自己教師あり学習
- マルチモダリティを教師とする自己教師あり学習:テスト環境への特化自己教師あり学習
- HilDA: 拡散モデルを用いた階層的蒸留による自己教師ありLiDAR事前学習の推進自己教師あり学習
- OctoSense: マルチモーダルロボット知覚のための自己教師あり学習自己教師あり学習
- 構造的不変性からの自己教師あり学習自己教師あり学習
- 海底画像に対する位置情報正則化自己教師あり特徴学習の検討自己教師あり学習
