日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2512.18237

大規模単眼3D再構成のための深度・姿勢・局所放射輝度場の統合学習

Joint Learning of Depth, Pose, and Local Radiance Field for Large Scale Monocular 3D Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

単眼動画から深度・カメラ姿勢・局所的なNeRF表現を同時に学習し、大規模シーンでも高精度な3D再構成と新規視点合成を実現する手法を提案。

詳しい要約

1. どんなもの?

- 単眼動画から photorealistic な 3-D reconstruction を行う joint learning framework - depth・pose・radiance field の三要素を同時に学習 - 大規模シーンでの失敗(scale-ambiguous depth による ghost geometry、long-horizon pose drift、単一 global NeRF の容量限界)を克服することを狙う - 構成要素 - metric-scale supervision で学習した Vision-Transformer (ViT) depth network - multi-scale feature bundle-adjustment (BA) layer による pose refinement - incremental local-radiance-field hierarchy(hash-grid NeRF を逐次確保・freeze) - 単一の uncalibrated RGB camera からの再構成を想定

2. 先行研究と比べてどこがすごい?

- 従来は depth・pose・radiance を個別に解くため大規模シーンで破綻 - 提案は三要素の joint learning で各 failure case に対応 - Tanks and Temples の 8 つの indoor-outdoor sequence で Absolute Trajectory Error が 0.001-0.021 m - BARF 比で最大 18x 低減 - NoPe-NeRF 比で 2x 低減 - sub-pixel Relative Pose Error を維持 - 単一 GPU で city-block-scale の coverage を実現

3. 技術・手法の肝は?

- ViT depth network に metric-scale supervision を与え、広い field-of-view 変動下でも globally consistent な depth を得る - multi-scale feature bundle-adjustment (BA) layer - brittle な keypoints ではなく learned pyramidal descriptors を利用 - feature space 上で camera pose を直接 refine し、unconstrained trajectory の drift を抑制 - incremental local-radiance-field hierarchy - view overlap が threshold を下回ると新しい hash-grid NeRF を on-the-fly で確保し freeze - 単一 GPU で大規模範囲をカバー

4. どうやって有効だと検証した?

- Tanks and Temples benchmark 上で 8 つの indoor-outdoor sequence を評価 - 指標 - Absolute Trajectory Error: 0.001-0.021 m - Relative Pose Error: sub-pixel - 比較 - BARF より最大 18x 低い ATE - NoPe-NeRF より 2x 低い ATE - novel-view synthesis の fidelity も併せて確認(詳細な評価プロトコルは要旨からは不明)

5. 議論はある?

- 要旨は metric-scale・drift-free な再構成と高忠実度 novel-view synthesis が単一 uncalibrated RGB camera で達成可能と主張 - 限界・失敗事例・計算コスト・ablation の詳細は要旨からは不明 - local radiance field の allocation threshold や freeze 戦略の感度、長期 trajectory での汎化性は要旨からは不明

6. 次に読むべき論文は?

- BARF(要旨で比較) - NoPe-NeRF(要旨で比較) - hash-grid NeRF(Instant NGP 系) - Vision-Transformer ベースの monocular depth estimation(metric-scale supervision 系) - feature-based bundle adjustment / DROID-SLAM 系の pose refinement

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shahram Najam Syed, Yitian Hu, Yuchao Yao

分類: cs.CV, cs.RO

原文アブストラクト

Photorealistic 3-D reconstruction from monocular video collapses in large-scale scenes when depth, pose, and radiance are solved in isolation: scale-ambiguous depth yields ghost geometry, long-horizon pose drift corrupts alignment, and a single global NeRF cannot model hundreds of metres of content. We introduce a joint learning framework that couples all three factors and demonstrably overcomes each failure case. Our system begins with a Vision-Transformer (ViT) depth network trained with metric-scale supervision, giving globally consistent depths despite wide field-of-view variations. A multi-scale feature bundle-adjustment (BA) layer refines camera poses directly in feature space--leveraging learned pyramidal descriptors instead of brittle keypoints--to suppress drift on unconstrained trajectories. For scene representation, we deploy an incremental local-radiance-field hierarchy: new hash-grid NeRFs are allocated and frozen on-the-fly when view overlap falls below a threshold, enabling city-block-scale coverage on a single GPU. Evaluated on the Tanks and Temples benchmark, our method reduces Absolute Trajectory Error to 0.001-0.021 m across eight indoor-outdoor sequences--up to 18x lower than BARF and 2x lower than NoPe-NeRF--while maintaining sub-pixel Relative Pose Error. These results demonstrate that metric-scale, drift-free 3-D reconstruction and high-fidelity novel-view synthesis are achievable from a single uncalibrated RGB camera.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI