日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像変換arXiv:2506.20969

ThermalDiffusion: 自律ナビゲーションのための視覚画像から熱画像への変換

ThermalDiffusion: Visual-to-Thermal Image-to-Image Translation for Autonomous Navigation

シェア:XThreadsFacebookLINEはてブBluesky

条件付き拡散モデルを用いてRGB画像を熱画像に変換し、熱カメラ向けデータ不足を補う手法を提案。

詳しい要約

1. どんなもの?

- 本論文は、自律ナビゲーションのためのthermal cameraの適応を目的とし、RGB画像からthermal画像への変換を行う手法を提案する。 - 既存のマルチモーダルデータセットにはthermal画像が不足しているため、合成thermalデータで拡張することを目指す。 - conditional diffusion modelsを用いてRGB画像をthermal画像に変換し、self-attentionで実世界物体の熱特性を学習する。

2. 先行研究と比べてどこがすごい?

- 先行研究では、scene segmentation、object detection、depth estimationなどのタスク向けにマルチモーダルデータセットが存在するが、thermal imageryが不足している。 - 本研究は、conditional diffusion modelsを活用して既存のRGBデータセットを合成thermalデータで拡張する点が新しい。 - これにより、thermal cameraの広範かつ迅速な適応を可能にする。

3. 技術・手法の肝は?

- conditional diffusion modelsを用いてRGB画像からthermal画像へのimage-to-image translationを行う。 - self-attention機構を利用して、実世界物体の熱特性を学習する。 - 合成thermalデータを生成し、既存データセットを拡張する。

4. どうやって有効だと検証した?

- 要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- conditional diffusion models - self-attention - マルチモーダルデータセット(scene segmentation、object detection、depth estimation向け)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shruti Bansal, Wenshan Wang, Yifei Liu, Parv Maheshwari

分類: cs.RO, cs.CV

原文アブストラクト

Autonomous systems rely on sensors to estimate the environment around them. However, cameras, LiDARs, and RADARs have their own limitations. In nighttime or degraded environments such as fog, mist, or dust, thermal cameras can provide valuable information regarding the presence of objects of interest due to their heat signature. They make it easy to identify humans and vehicles that are usually at higher temperatures compared to their surroundings. In this paper, we focus on the adaptation of thermal cameras for robotics and automation, where the biggest hurdle is the lack of data. Several multi-modal datasets are available for driving robotics research in tasks such as scene segmentation, object detection, and depth estimation, which are the cornerstone of autonomous systems. However, they are found to be lacking in thermal imagery. Our paper proposes a solution to augment these datasets with synthetic thermal data to enable widespread and rapid adaptation of thermal cameras. We explore the use of conditional diffusion models to convert existing RGB images to thermal images using self-attention to learn the thermal properties of real-world objects.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI