日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

画像変換arXiv:2509.24878

ThermalGen: スタイル分離型フロー生成モデルによるRGBから熱画像への変換

ThermalGen: Style-Disentangled Flow-Based Generative Models for RGB-to-Thermal Image Translation

シェア:XThreadsFacebookLINEはてブBluesky

RGB画像から熱画像を生成するフローベースの生成モデルを提案し、スタイル分離機構と大規模データセットを導入して、視点やセンサー特性の変化に対応可能にした。

詳しい要約

1. どんなもの?

- RGB画像から熱画像(thermal image)を合成するRGB-to-Thermal (RGB-T) image translation のための生成モデル - adaptive flow-based generative model に RGB image conditioning architecture と style-disentangled mechanism を組み込んだ手法 - 可視光-熱センサfusionやcross-modalityタスク向けのpaired RGB-thermalデータ不足を緩和する目的 - 衛星・航空・地上のRGB-Tデータセット群と新規3データセット(DJI-day, Bosonplus-day, Bosonplus-night)も整備

2. 先行研究と比べてどこがすごい?

- 既存のGAN-basedおよびdiffusion-based手法と比較して、複数のRGB-Tベンチマークで同等以上のtranslation性能を達成 - 視点・センサ特性・環境条件の大きな変化を反映した熱画像を合成できる初のRGB-T image translationモデルと主張 - 大規模学習のため8つの公開satellite-aerial/aerial/ground RGB-T paired datasetsを整理し、新規3つの大規模satellite-aerialデータセットを導入 - データセット整備とモデル設計の両面で貢献

3. 技術・手法の肝は?

- flow-based generative modelをベースにしたRGB-T image translation - RGB image conditioning architectureによりRGB画像を条件として熱画像を生成 - style-disentangled mechanismによりスタイル要因を分離して扱う設計 - adaptiveなflow-basedモデルとして構成 - 具体的なネットワーク構造や損失関数の詳細は要旨からは不明

4. どうやって有効だと検証した?

- 複数のRGB-Tベンチマークで広範な評価を実施 - 既存のGAN-based手法およびdiffusion-based手法との比較によりtranslation性能を検証 - 新規データセットDJI-day, Bosonplus-day, Bosonplus-nightを含む多様な時刻・センサ・地域のデータで評価 - 視点・センサ特性・環境条件の変化に対する合成能力を確認

5. 議論はある?

- 視点・センサ特性・環境条件の大きな変化への対応可能性を主張 - paired RGB-thermalデータ不足という課題に対するデータセット整備の重要性を示唆 - 定量結果の詳細、失敗事例、計算コスト、flow-basedモデルの限界については要旨からは不明 - 生成熱画像の物理的妥当性や下流タスクへの影響の議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象として言及されるGAN-based RGB-T translation手法(例: CycleGAN系、pix2pix系) - diffusion-based image translation手法(例: DDPM/score-based diffusion models) - flow-based generative models(例: Normalizing Flow, Glow系) - style-disentangled/conditional generationに関する研究 - RGB-T sensor fusionやcross-modality alignment/retrievalの関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiuhong Xiao, Roshan Nayak, Ning Zhang, Daniel Tortei, Giuseppe Loianno

分類: cs.CV, cs.RO

原文アブストラクト

Paired RGB-thermal data is crucial for visual-thermal sensor fusion and cross-modality tasks, including important applications such as multi-modal image alignment and retrieval. However, the scarcity of synchronized and calibrated RGB-thermal image pairs presents a major obstacle to progress in these areas. To overcome this challenge, RGB-to-Thermal (RGB-T) image translation has emerged as a promising solution, enabling the synthesis of thermal images from abundant RGB datasets for training purposes. In this study, we propose ThermalGen, an adaptive flow-based generative model for RGB-T image translation, incorporating an RGB image conditioning architecture and a style-disentangled mechanism. To support large-scale training, we curated eight public satellite-aerial, aerial, and ground RGB-T paired datasets, and introduced three new large-scale satellite-aerial RGB-T datasets--DJI-day, Bosonplus-day, and Bosonplus-night--captured across diverse times, sensor types, and geographic regions. Extensive evaluations across multiple RGB-T benchmarks demonstrate that ThermalGen achieves comparable or superior translation performance compared to existing GAN-based and diffusion-based methods. To our knowledge, ThermalGen is the first RGB-T image translation model capable of synthesizing thermal images that reflect significant variations in viewpoints, sensor characteristics, and environmental conditions. Project page: http://xjh19971.github.io/ThermalGen

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI