熱画像からの自己教師あり深度・自己運動学習を最大化する熱画像マッピング
Maximizing Self-supervision from Thermal Image for Effective Self-supervised Learning of Depth and Ego-motion
熱画像の低コントラストやぼやけを解析し、時間的一貫性を保ちながら構造・コントラスト・細部を強調するマッピング手法を提案。RGB画像などの追加情報なしで深度と自己運動の推定精度を向上させた。
著者: Ukcheol Shin, Kyunghyun Lee, Byeong-Uk Lee, In So Kweon
分類: cs.RO, cs.CV
原文アブストラクト
Recently, self-supervised learning of depth and ego-motion from thermal images shows strong robustness and reliability under challenging scenarios. However, the inherent thermal image properties such as weak contrast, blurry edges, and noise hinder to generate effective self-supervision from thermal images. Therefore, most research relies on additional self-supervision sources such as well-lit RGB images, generative models, and Lidar information. In this paper, we conduct an in-depth analysis of thermal image characteristics that degenerates self-supervision from thermal images. Based on the analysis, we propose an effective thermal image mapping method that significantly increases image information, such as overall structure, contrast, and details, while preserving temporal consistency. The proposed method shows outperformed depth and pose results than previous state-of-the-art networks without leveraging additional RGB guidance.
関連論文
- Vernata: LiDAR点群表現の自己教師あり学習自己教師あり学習
- マルチモダリティを教師とする自己教師あり学習:テスト環境への特化自己教師あり学習
- HilDA: 拡散モデルを用いた階層的蒸留による自己教師ありLiDAR事前学習の推進自己教師あり学習
- OctoSense: マルチモーダルロボット知覚のための自己教師あり学習自己教師あり学習
- 構造的不変性からの自己教師あり学習自己教師あり学習
- 海底画像に対する位置情報正則化自己教師あり特徴学習の検討自己教師あり学習
