日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2605.16258

IVGT: 暗黙的視覚幾何トランスフォーマーによるニューラルシーン表現

IVGT: Implicit Visual Geometry Transformer for Neural Scene Representation

シェア:XThreadsFacebookLINEはてブBluesky

カメラポーズが未知の多視点画像から、連続的で一貫した3D幾何と外観を暗黙的にモデル化する手法を提案。SDFと色を予測する軽量デコーダを用いて、任意の3D位置での空間クエリを可能にし、メッシュ再構成や新規視点合成など多様なタスクで高い性能を示した。

詳しい要約

1. どんなもの?

- ポーズなし多視点画像から連続的で一貫した3D形状と外観を再構成する問題に対し、Implicit Visual Geometry Transformer (IVGT) を提案。 - 連続的なニューラルシーン表現を正準座標系で学習し、任意の3D位置での連続空間クエリをサポート。 - 軽量デコーダでsigned distance (SDF) 値と色を予測し、任意視点からのRGB画像、depth map、surface normal mapのレンダリングを可能にする。

2. 先行研究と比べてどこがすごい?

- 既存のvisual geometry foundation modelsはピクセル整列のpointmapsを回帰して明示的形状を予測し、冗長性と幾何学的連続性の制限に悩まされる。 - IVGTは暗黙的に連続的で一貫した形状をモデル化し、これらの問題を回避。 - 連続的な表面形状の直接抽出を可能にし、多様なタスクで強い性能を発揮。

3. 技術・手法の肝は?

- ポーズフリー多視点画像から連続的で一貫した形状を暗黙的にモデル化するTransformerベースのフレームワーク。 - 正準座標系で連続的ニューラルシーン表現を学習し、任意の3D位置で連続空間クエリを実行。 - ローカル特徴を取得し、軽量デコーダでSDF値と色を予測。 - マルチデータセット共同最適化と2D supervisionおよび3D geometric regularizationで訓練。

4. どうやって有効だと検証した?

- マルチデータセット共同最適化により訓練し、シーン間の汎化を実証。 - meshおよびpoint cloud再構成、novel view synthesis、depthおよびsurface normal推定、camera pose推定を含む多様なタスクで強い性能を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。同分野の定番として、visual geometry foundation modelsやpointmap回帰手法、暗黙的ニューラル表現(NeRF, SDFベース手法)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuqi Wu, Tianyu Hu, Wenzhao Zheng, Yuanhui Huang, Haowen Sun, Jie Zhou, Jiwen Lu

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Reconstructing coherent 3D geometry and appearance from unposed multi-view images is a fundamental yet challenging problem in computer vision. Most existing visual geometry foundation models predict explicit geometry by regressing pixel-aligned pointmaps, often suffering from redundancy and limited geometric continuity. We propose IVGT, an Implicit Visual Geometry Transformer that implicitly models continuous and coherent geometry from pose-free multi-view images. This formulation learns a continuous neural scene representation in a canonical coordinate system and supports continuous spatial queries at any 3D positions, retrieving local features to predict signed distance (SDF) values and colors using lightweight decoders. It allows direct extraction of continuous and coherent surface geometry, enabling rendering of RGB images, depth maps, and surface normal maps from arbitrary viewpoints. We train IVGT via multi-dataset joint optimization with 2D supervision and 3D geometric regularization. IVGT demonstrates generalization across scenes and achieves strong performance on various tasks, including mesh and point cloud reconstruction, novel view synthesis, depth and surface normal estimation, and camera pose estimation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI