日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

深度推定arXiv:2411.10886

MetricGold: テキストから画像への潜在拡散モデルを活用したメトリック深度推定

MetricGold: Leveraging Text-To-Image Latent Diffusion Models for Metric Depth Estimation

シェア:XThreadsFacebookLINEはてブBluesky

生成拡散モデルの事前知識を活用し、単一画像からメトリック深度を推定する手法を提案。合成データで効率的に学習し、多様なデータセットで高品質な深度推定を実現した。

著者: Ansh Shah, K Madhava Krishna

分類: cs.CV, cs.AI, cs.GR, cs.RO

原文アブストラクト

Recovering metric depth from a single image remains a fundamental challenge in computer vision, requiring both scene understanding and accurate scaling. While deep learning has advanced monocular depth estimation, current models often struggle with unfamiliar scenes and layouts, particularly in zero-shot scenarios and when predicting scale-ergodic metric depth. We present MetricGold, a novel approach that harnesses generative diffusion model's rich priors to improve metric depth estimation. Building upon recent advances in MariGold, DDVM and Depth Anything V2 respectively, our method combines latent diffusion, log-scaled metric depth representation, and synthetic data training. MetricGold achieves efficient training on a single RTX 3090 within two days using photo-realistic synthetic data from HyperSIM, VirtualKitti, and TartanAir. Our experiments demonstrate robust generalization across diverse datasets, producing sharper and higher quality metric depth estimates compared to existing approaches.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI