日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成/スケール推定arXiv:2610.16945

UniMetric: 視覚幾何基盤モデルのための普遍的メートルスケール復元

UniMetric: Universal Metric Scale Recovery for Visual Geometry Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルから得た物体サイズの事前知識を再構成に整合させ、追加センサーや学習なしで幾何基盤モデルの出力にメートルスケールを与える手法を提案。

詳しい要約

1. どんなもの?

- 視覚幾何 foundation model の再構成に対し、metric scale を復元する UniMetric を提案。 - training-free で追加 sensor や task-specific metric supervision を要さない。 - 対象は embodied reasoning/planning のための Internet video 由来の物理 scale 注釈。 - 併せて MetricBench を導入。 - 12 の embodied/driving/roadside subset と sensor 由来 ground truth を含む。

2. 先行研究と比べてどこがすごい?

- 従来の visual geometry foundation model は scene structure と camera motion を復元しても metric scale が信頼できない。 - 追加 sensor や task-specific metric supervision を必要としない点が異なる。 - 身近な物体の不確かな size prior を jointly に使う発想。 - 9 つの geometry foundation model で全 model・全 3 task を suite レベルで改善。 - 具体的な prior 研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- Metric Prior Acquisition: VLM から object height interval を引き出す。 - Semantic-Geometric Alignment: 各 frame で推定 support-surface normal に沿って再構成 object height を測り、prior を scale interval に変換。 - Global Scale Recovery: 凸目的関数で interval を統合。 - interval が重なる場合は jointly feasible scale、重ならない場合は unique compromise を返す。 - 推定した sequence-level scale を再構成点と camera translation に一様適用。

4. どうやって有効だと検証した?

- 実 VLM prior を用いた制御実験で、観測統合が scale 精度を改善し、相対 object height が正確であることを確認。 - ground-truth scale alignment なしの GFM 再構成で metric accuracy を評価する MetricBench を導入。 - 12 の embodied/driving/roadside subset と sensor 由来 ground truth を使用。 - 9 つの geometry foundation model で評価。 - mean depth Abs Rel、reconstruction Chamfer distance、trajectory error をそれぞれ 54.2%、83.8%、65.6% 削減。

5. 議論はある?

- 不確かな size prior でも jointly に scale を制約できることを示す。 - interval が重なる場合と重ならない場合の扱いを convex objective で整理。 - 追加 sensor や task-specific metric supervision を不要とする利点。 - 限界や失敗条件、計算コスト、VLM prior の品質依存性は要旨からは不明。 - 倫理・安全性・embodied 応用上の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として visual geometry foundation model、VLM、metric scale recovery、Chamfer distance、Abs Rel を挙げる。 - 同分野の定番として SLAM、Structure-from-Motion、monocular depth estimation、visual odometry を挙げる。 - 具体的な次読論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lei Yang, Yuner Zhang, Ziyang Liu, Ziying Song, Kai WU, Yiyang Gao, Jiangtao Su, Yiming Li

分類: cs.CV

原文アブストラクト

Recent advances in multimodal foundation models, exemplified by GPT-6 Astra, raise the prospect of general-purpose embodied reasoning and planning. Using Internet videos for embodied pretraining calls for reliable physical-scale annotations. Yet visual geometry foundation models often recover scene structure and camera motion without reliable metric scale. We show that uncertain size priors of familiar objects can jointly constrain a reconstruction's shared scale. Building on this insight, we present UniMetric, a universal and training-free metric scale recovery framework for geometry foundation models, without additional sensors or task-specific metric supervision. Specifically, Metric Prior Acquisition elicits object height intervals from a vision-language model. Semantic-Geometric Alignment measures reconstructed object heights along the estimated support-surface normal in each frame and converts the priors into scale intervals. Global Scale Recovery reconciles these intervals through a convex objective, yielding a jointly feasible scale when they overlap and a unique compromise otherwise. The estimated sequence-level scale is applied uniformly to reconstructed points and camera translations. Controlled experiments with real VLM priors show that combining observations improves scale accuracy with exact relative object heights. To evaluate metric accuracy on GFM reconstructions without ground-truth scale alignment, we introduce MetricBench, covering twelve embodied, driving, and roadside subsets with sensor-derived ground truth. Across nine geometry foundation models, UniMetric reduces mean depth Abs Rel, reconstruction Chamfer distance, and trajectory error by 54.2%, 83.8%, and 65.6%, respectively, improving every model on all three tasks at the suite level. We release the UniMetric code and MetricBench data.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI