日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2509.13414

MapAnything: 汎用フィードフォワード計量3D再構成

MapAnything: Universal Feed-Forward Metric 3D Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

複数画像と任意の幾何情報から、カメラ姿勢や深度を含む計量的な3Dシーンを単一のフィードフォワードで推定する統一Transformerモデルを提案。

詳しい要約

1. どんなもの?

- MapAnything は、1枚以上の画像と任意の幾何入力(camera intrinsics、poses、depth、partial reconstructions など)を入力し、metric 3D scene geometry と cameras を直接回帰する unified transformer-based feed-forward model。 - 多視点 scene geometry を factored representation(depth maps、local ray maps、camera poses、metric scale factor の集合)で表現し、局所再構成を globally consistent な metric frame に変換する。 - 単一の feed-forward pass で uncalibrated structure-from-motion、calibrated multi-view stereo、monocular depth estimation、camera localization、depth completion…

2. 先行研究と比べてどこがすごい?

- 従来の specialist feed-forward models は個別タスク向けに設計されていたが、MapAnything は単一モデルで複数タスクを統合。 - 多様な datasets にわたる supervision と training の標準化、柔軟な input augmentation により、幅広い 3D vision tasks を一つの feed-forward pass で解決。 - 実験で specialist feed-forward models を上回るか同等の性能を示し、より効率的な joint training behavior を実現。

3. 技術・手法の肝は?

- transformer-based の feed-forward model で、画像と任意の幾何入力(camera intrinsics、poses、depth、partial reconstructions)を受け取る。 - 多視点 scene geometry を factored representation(depth maps、local ray maps、camera poses、metric scale factor)として表現。 - metric scale factor により局所再構成を globally consistent な metric frame に変換。 - 多様な datasets 間で supervision と training を標準化し、flexible input augmentation を適用。

4. どうやって有効だと検証した?

- extensive experimental analyses と model ablations を実施。 - MapAnything が specialist feed-forward models を上回るか同等の性能を示すことを確認。 - より効率的な joint training behavior も示された。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある?

- 単一の feed-forward pass で幅広い 3D vision tasks を扱える universal 3D reconstruction backbone への道を開く可能性を主張。 - 効率的な joint training behavior について言及。 - 限界や失敗ケース、計算コスト、汎化性に関する具体的な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別の研究名は明示されていない。 - 関連手法として、structure-from-motion、multi-view stereo、monocular depth estimation、camera localization、depth completion の分野の定番手法や、feed-forward 3D reconstruction の代表的研究(例: DUSt3R、VGGT など)を次に読む候補として挙げられる。 - ただし要旨にこれらの固有名は記載されていないため、一般名としての分野・手法カテゴリを挙げるにとどめる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nikhil Keetha, Norman Müller, Johannes Schönberger, Lorenzo Porzi, Yuchen Zhang, Tobias Fischer, Arno Knapitsch, Duncan Zauss, Ethan Weber, Nelson Antunes, Jonathon Luiten, Manuel Lopez-Antequera, Samuel Rota Bulò, Christian Richardt, Deva Ramanan, Sebastian Scherer, Peter Kontschieder

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

We introduce MapAnything, a unified transformer-based feed-forward model that ingests one or more images along with optional geometric inputs such as camera intrinsics, poses, depth, or partial reconstructions, and then directly regresses the metric 3D scene geometry and cameras. MapAnything leverages a factored representation of multi-view scene geometry, i.e., a collection of depth maps, local ray maps, camera poses, and a metric scale factor that effectively upgrades local reconstructions into a globally consistent metric frame. Standardizing the supervision and training across diverse datasets, along with flexible input augmentation, enables MapAnything to address a broad range of 3D vision tasks in a single feed-forward pass, including uncalibrated structure-from-motion, calibrated multi-view stereo, monocular depth estimation, camera localization, depth completion, and more. We provide extensive experimental analyses and model ablations demonstrating that MapAnything outperforms or matches specialist feed-forward models while offering more efficient joint training behavior, thus paving the way toward a universal 3D reconstruction backbone.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI