日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

深度推定arXiv:2608.11564

RGB基盤モデルの階層的監督による熱画像深度推定への転用

Repurposing RGB-based Foundation Model for Depth Estimation on Thermal Images Using Hierarchical Supervision

シェア:XThreadsFacebookLINEはてブBluesky

熱画像からの深度推定において、RGB基盤モデルの階層的表現を活用するフレームワークRGB-HSを提案し、複数レベルでの特徴整合と品質検証により性能を向上させた。

詳しい要約

1. どんなもの?

本論文は、RGB画像で事前学習されたfoundation modelの知識を熱画像の深度推定に転移する新しいフレームワークRGB-HSを提案する。熱画像は夜間や雨天などの悪条件下でのロボット応用に有用だが、RGBベースのモデルをそのまま適用するのは難しい。RGB-HSは、熱画像エンコーダと並行するRGBエンコーダの両方に同じアーキテクチャのfoundation modelを用い、複数レベルでトークンを整列させることで、構造的精度と意味的抽象化の両方を熱画像ブランチに獲得させる。

2. 先行研究と比べてどこがすごい?

先行研究では、RGBベースのfoundation modelから熱画像モダリティへの知識転移が試みられてきたが、モデルが符号化する階層的表現が十分に活用されていなかった。RGB-HSは、エンコーダの複数レベルにわたる整列を導入することで、この階層的表現を活用し、より効果的な知識転移を実現する点が新しい。

3. 技術・手法の肝は?

手法の核は、(1) ベースラインの熱エンコーダをfoundation modelに置き換え、同じアーキテクチャのfoundation modelを用いる並行RGBブランチを導入すること、(2) 二つのエンコーダのトークン間で複数レベルにわたる整列を行い、熱画像の学生ブランチがRGB教師ブランチから構造的精度と意味的抽象化を獲得すること、(3) RGB画像の品質に基づいてRGBブランチのトークンに重み付けするverificationを導入し、整列プロセスを洗練することである。

4. どうやって有効だと検証した?

一般的なベンチマーク(具体的なデータセット名は要旨に記載なし)での広範な実験により、RGB-HSが競争力のある性能を達成し、熱画像の深度推定においてRGBベースのfoundation modelの表現能力をより効果的に活用できることを示した。

5. 議論はある?

要旨からは、提案手法の限界や他の手法との比較における詳細な議論は不明。ただし、RGB画像の品質に依存するverification機構は、RGB画像が利用できない状況では適用が難しい可能性が考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

要旨で参照されている先行研究は具体的に挙げられていないが、関連する分野として、RGB-based foundation model(例:DINOv2, MAE)や、クロスモーダル知識蒸留、深度推定のための教師-学生フレームワークに関する論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jie Hong, Tingtian Li, Xuesong Li, Xiao Li

分類: cs.CV, cs.RO

原文アブストラクト

Depth estimation from thermal images is highly valuable for robotic applications in adverse conditions, such as nighttime and rainy weather. Recent studies have sought to transfer knowledge from RGB-based foundation models to thermal modalities, yet the rich hierarchical representations these models encode remain underutilized. To address this limitation, we propose RGB-HS, a novel framework for thermal-image depth estimation that leverages hierarchical supervision from an RGB-based foundation model. Specifically, we first replace the baseline thermal encoder with a foundational model and introduce a parallel RGB branch that also employs a foundational model as an encoder of the same architecture, taking RGB images as input. The alignment is then performed across multiple levels between the tokens of the two encoders, allowing the thermal student branch to capture both structural precision and semantic abstraction from the RGB teacher branch. Furthermore, we introduce verification to refine the alignment process by weighting tokens from the RGB branch based on RGB image quality. Extensive experiments on the popular benchmark demonstrate that RGB-HS achieves competitive performance and more effectively exploits the representational capacity of RGB-based foundation models for depth estimation on thermal images.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI