日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セマンティックセグメンテーションarXiv:2505.06951

熱画像セマンティックセグメンテーションのためのクロススペクトル教師なしドメイン適応の強化

Boosting Cross-spectral Unsupervised Domain Adaptation for Thermal Semantic Segmentation

シェア:XThreadsFacebookLINEはてブBluesky

RGBと熱画像の相補情報を活用するマスク付き相互学習とプロトタイプ自己教師あり損失を提案し、熱画像セグメンテーションの教師なしドメイン適応性能を向上させた。

詳しい要約

1. どんなもの?

- 自動運転における thermal image semantic segmentation のための cross-spectral unsupervised domain adaptation (UDA) の研究。 - ラベル付き thermal dataset の不足を、RGB と thermal の相補情報を活用して緩和することを狙う。 - masked mutual learning と prototypical self-supervised loss の2手法を提案。

2. 先行研究と比べてどこがすごい?

- 従来の thermal UDA は RGB と thermal の相補情報を十分活用できず、domain adaptation 時に性能が大きく低下していた。 - 提案法は spectral 間の選択的な知識交換と夜間向け自己教師あり損失でこの問題に対処。 - 実験で従来 UDA 法を上回り、state-of-the-art の supervised 法に匹敵する性能を達成。

3. 技術・手法の肝は?

- masked mutual learning: 各 spectral model の出力を不確実領域を mask しつつ選択的に転送し、相補情報交換を促進。 - prototypical self-supervised loss: 夜間シーンでの thermal segmentation model の性能向上を目的に導入。 - RGB pre-trained network が低照度下で知識転移できない制約を補う設計。

4. どうやって有効だと検証した?

- 実験により、提案法が従来の UDA 法より高い性能を示すことを確認。 - state-of-the-art の supervised 法と比較して遜色ない性能を達成。 - 具体的な dataset 名や評価指標は要旨からは不明。

5. 議論はある?

- RGB pre-trained network は低照度で知識転移が困難という本質的制約があり、夜間対応が課題として議論されている。 - 不確実領域の masking と spectral 間転送の設計が性能に寄与する点が示唆される。 - 詳細な限界や失敗事例は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照されている個別論文は不明。 - 関連手法として cross-spectral UDA、masked mutual learning、prototypical self-supervised learning、thermal semantic segmentation の代表的研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seokjun Kwon, Jeongmin Shin, Namil Kim, Soonmin Hwang, Yukyung Choi

分類: cs.CV, cs.RO

原文アブストラクト

In autonomous driving, thermal image semantic segmentation has emerged as a critical research area, owing to its ability to provide robust scene understanding under adverse visual conditions. In particular, unsupervised domain adaptation (UDA) for thermal image segmentation can be an efficient solution to address the lack of labeled thermal datasets. Nevertheless, since these methods do not effectively utilize the complementary information between RGB and thermal images, they significantly decrease performance during domain adaptation. In this paper, we present a comprehensive study on cross-spectral UDA for thermal image semantic segmentation. We first propose a novel masked mutual learning strategy that promotes complementary information exchange by selectively transferring results between each spectral model while masking out uncertain regions. Additionally, we introduce a novel prototypical self-supervised loss designed to enhance the performance of the thermal segmentation model in nighttime scenarios. This approach addresses the limitations of RGB pre-trained networks, which cannot effectively transfer knowledge under low illumination due to the inherent constraints of RGB sensors. In experiments, our method achieves higher performance over previous UDA methods and comparable performance to state-of-the-art supervised methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI