日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

SLAM/熱画像/深度推定arXiv:2603.14998

リカレントネットワークによる深度推定を用いた単眼ORB-SLAM3向け熱画像の高精細化

Thermal Image Refinement with Depth Estimation using Recurrent Networks for Monocular ORB-SLAM3

シェア:XThreadsFacebookLINEはてブBluesky

UAVのGPS非依存・視覚劣化環境での自律航法を目指し、単眼熱カメラのみで深度推定とSLAMを行うパイプラインを提案。軽量なリカレントブロックと熱画像精細化ネットワークで熱画像の特徴を強化し、ORB-SLAM3に統合して熱画像のみでの位置推定を実現した。

詳しい要約

1. どんなもの?

- 研究対象 - UAVのGPS拒否・視覚劣化環境での自律航法 - 単眼thermal cameraを唯一のセンサとして使用 - 目的 - リアルタイムdepth estimationとSLAMの同時実行 - 提案 - thermal画像からdepthを抽出する新パイプライン - recurrent blocks (RBs) を統合した軽量supervised network - thermal refinement network (T-RefNet) によるraw thermal入力の補正 - 補正済みthermal画像と予測depth mapをORB-SLAM3に統合 - thermalのみでのlocalizationを実現

2. 先行研究と比べてどこがすごい?

- 先行研究との違い - 従来は高コストなradiometric thermal cameraを必要とした - 本研究はcustom non-radiometric datasetで学習し、radiometric camera不要 - 性能面 - radiometric VIVID++ (indoor-dark) でabsolute relative error約0.06 - ベースラインは0.11超 - 非radiometric屋内セットでベースライン誤差0.24超に対し、提案手法は0.10未満 - thermalのみのORB-SLAM3でmean trajectory error 0.4 m未満 - すごさ - 低照度下で競争力のあるdepth精度と堅牢なSLAM性能を実証

3. 技術・手法の肝は?

- ネットワーク構成 - 軽量convolutional backbones - recurrent blocks (RBs) を統合し時間的依存関係を捕捉 - thermal refinement network (T-RefNet) でraw thermal入力を補正し特徴の視認性を向上 - 学習 - custom non-radiometric datasetでsupervised学習 - 統合 - 補正済みthermal画像と予測depth mapをORB-SLAM3に統合 - thermalのみのlocalizationを可能に

4. どうやって有効だと検証した?

- データセット - radiometric VIVID++ (indoor-dark) データセット - 独自の非radiometric屋内セット - UAV飛行実験 - 実機UAV flightsを実施 - 評価指標 - depth精度: absolute relative error - SLAM性能: mean trajectory error - 結果 - VIVID++で約0.06、ベースライン0.11超 - 非radiometric屋内で0.10未満、ベースライン0.24超 - thermalのみのORB-SLAM3でmean trajectory error 0.4 m未満

5. 議論はある?

- 主張 - 低照度条件下で競争力のあるdepth精度と堅牢なSLAM性能 - 高コストなradiometric thermal camera不要 - 限界・議論 - 要旨からは不明 - 具体的な失敗事例や計算コスト、リアルタイム性の詳細は記述なし

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - ORB-SLAM3 - VIVID++ dataset - 関連手法 - recurrent blocks (RBs) - thermal refinement network (T-RefNet) - 同分野の定番 - monocular depth estimation - thermal SLAM - UAV navigation in GPS-denied environments

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hürkan Şahin, Huy Xuan Pham, Van Huyen Dang, Alper Yegenoglu, Erdal Kayacan

分類: cs.CV, cs.RO

原文アブストラクト

Autonomous navigation in GPS-denied and visually degraded environments remains challenging for unmanned aerial vehicles (UAVs). To this end, we investigate the use of a monocular thermal camera as a standalone sensor on a UAV platform for real-time depth estimation and simultaneous localization and mapping (SLAM). To extract depth information from thermal images, we propose a novel pipeline employing a lightweight supervised network with recurrent blocks (RBs) integrated to capture temporal dependencies, enabling more robust predictions. The network combines lightweight convolutional backbones with a thermal refinement network (T-RefNet) to refine raw thermal inputs and enhance feature visibility. The refined thermal images and predicted depth maps are integrated into ORB-SLAM3, enabling thermal-only localization. Unlike previous methods, the network is trained on a custom non-radiometric dataset, obviating the need for high-cost radiometric thermal cameras. Experimental results on datasets and UAV flights demonstrate competitive depth accuracy and robust SLAM performance under low-light conditions. On the radiometric VIVID++ (indoor-dark) dataset, our method achieves an absolute relative error of approximately 0.06, compared to baselines exceeding 0.11. In our non-radiometric indoor set, baseline errors remain above 0.24, whereas our approach remains below 0.10. Thermal-only ORB-SLAM3 maintains a mean trajectory error under 0.4 m.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI