日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

深度推定arXiv:2509.00665

ER-LoRA: 有効ランク誘導適応による天候汎化深度推定

ER-LoRA: Effective-Rank Guided Adaptation for Weather-Generalized Depth Estimation

シェア:XThreadsFacebookLINEはてブBluesky

視覚基盤モデルを少量の晴天データのみでパラメータ効率良く微調整し、悪天候下でも汎化する単眼深度推定手法を提案。有効ランクに基づく選択・調整・維持戦略で適応と事前知識保持を両立。

詳しい要約

1. どんなもの?

悪天候(雨・霧・雪・夜間)下の単眼 depth estimation を、Vision Foundation Models (VFMs) の Parameter-Efficient Fine-Tuning (PEFT) で実現する研究。少量の高視認性(normal)データのみを用い、weather-generalized な depth estimation を目指す。PEFT は segmentation 等の semantic タスクでは実績があるが、depth estimation のような geometry 中心タスクでは未探索であり、適応と pretrained knowledge 保持のバランスが課題であると指摘。そこで Selecting-Tuning-Maintaining (STM) 戦略を提案する。

2. 先行研究と比べてどこがすごい?

- 既存手法は synthetic adverse data + pseudo-labels に依存し domain gap を抱える、または self-supervised learning を用いるが悪条件下で photometric assumptions に反する。 - 提案法は少量の normal データのみで weather-generalized depth estimation を達成。 - 実験で既存 PEFT 手法・full fine-tuning を上回り、adverse synthetic data で学習した手法や depth foundation model をも超えたと報告。 - PEFT の geometry 中心タスクへの適用と、適応/知識保持のバランス設計が新規点。

3. 技術・手法の肝は?

- Selecting-Tuning-Maintaining (STM) 戦略を導入。 - VFM の pretrained weights を 2 種類の effective rank(entropy-rank と stable-rank)で構造的に分解。 - tuning 段階: entropy-rank と full-tuned weight に基づき、適切な rank 数と task-aware singular directions を適応的に選択して初期化。 - maintaining 段階: stable-rank に基づく principal direction regularization を課す。 - これにより柔軟なタスク適応と pretrained VFM の汎化能力保持を両立。

4. どうやって有効だと検証した?

- 多様な weather conditions を含む 4 つの real-world benchmarks で extensive experiments を実施。 - STM が既存 PEFT 手法および full fine-tuning を上回ることを示す。 - adverse synthetic data で学習した手法や depth foundation model をも超える性能を確認。 - 具体的なデータセット名・指標は要旨からは不明。

5. 議論はある?

- 悪条件下では reliable ground truth が乏しく、unlabeled real-world data からの学習が困難という課題を背景に議論。 - synthetic adverse data の domain gap、self-supervised 法の photometric assumptions 違反を問題として指摘。 - PEFT における effective adaptation と pretrained knowledge 保持のバランスの重要性を議論。 - 限界や failure case の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として言及される既存 PEFT 手法(例: LoRA 系)や full fine-tuning。 - adverse synthetic data を用いる depth estimation 手法、self-supervised depth estimation。 - depth foundation model(具体的名称は要旨からは不明)。 - Vision Foundation Models (VFMs) の PEFT 関連研究(segmentation 等の semantic タスク)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weilong Yan, Xin Zhang, Robby T. Tan

分類: cs.CV, cs.RO

原文アブストラクト

Monocular depth estimation under adverse weather conditions (e.g.\ rain, fog, snow, and nighttime) remains highly challenging due to the lack of reliable ground truth and the difficulty of learning from unlabeled real-world data. Existing methods often rely on synthetic adverse data with pseudo-labels, which suffer from domain gaps, or employ self-supervised learning, which violates photometric assumptions in adverse scenarios. In this work, we propose to achieve weather-generalized depth estimation by Parameter-Efficient Fine-Tuning (PEFT) of Vision Foundation Models (VFMs), using only a small amount of high-visibility (normal) data. While PEFT has shown strong performance in semantic tasks such as segmentation, it remains underexplored for geometry -- centric tasks like depth estimation -- especially in terms of balancing effective adaptation with the preservation of pretrained knowledge. To this end, we introduce the Selecting-Tuning-Maintaining (STM) strategy, which structurally decomposes the pretrained weights of VFMs based on two kinds of effective ranks (entropy-rank and stable-rank). In the tuning phase, we adaptively select the proper rank number as well as the task-aware singular directions for initialization, based on the entropy-rank and full-tuned weight; while in the maintaining stage, we enforce a principal direction regularization based on the stable-rank. This design guarantees flexible task adaptation while preserving the strong generalization capability of the pretrained VFM. Extensive experiments on four real-world benchmarks across diverse weather conditions demonstrate that STM not only outperforms existing PEFT methods and full fine-tuning but also surpasses methods trained with adverse synthetic data, and even the depth foundation model

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI