日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構築arXiv:2604.27106

生成による再構築:スパース観測からの3D複数物体シーン再構築

Reconstruction by Generation: 3D Multi-Object Scene Reconstruction from Sparse Observations

シェア:XThreadsFacebookLINEはてブBluesky

RGB-D画像のスパースな観測から、物体や部品の形状と姿勢を確率的に推定する生成フレームワークRecGenを提案し、複雑な遮蔽や対称物体に対応して高精度な再構築を実現した。

詳しい要約

1. どんなもの?

- スパースな観測から複数物体の3Dシーンを再構成する生成フレームワークRecGenを提案。 - 1枚または複数のRGB-D画像から、物体とパーツの形状およびポーズを確率的に同時推定。 - オクルージョンや部分的な可視性に対応し、多様な物体タイプや実環境に汎化。

2. 先行研究と比べてどこがすごい?

- 先行研究SAM3Dと比較して、学習メッシュ数を約80%削減しながら性能向上。 - 幾何形状品質で30.1%、テクスチャ再構成で9.1%、ポーズ推定で33.9%の改善。 - 複雑で重度のオクルージョンがあるデータセットで最先端性能を達成。

3. 技術・手法の肝は?

- 合成的なシーン生成と強力な3D形状事前分布を活用した生成フレームワーク。 - 物体とパーツの形状、ポーズを確率的に同時推定する点が肝。 - オクルージョンや部分可視性に対処する設計。

4. どうやって有効だと検証した?

- 複雑で重度のオクルージョンを含むデータセットで評価。 - 幾何形状、テクスチャ再構成、ポーズ推定の指標でSAM3Dと比較し、大幅な改善を確認。 - 対称物体、物体パーツ、複雑な形状・テクスチャにも頑健に対応できることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- SAM3D(比較対象として明示) - 3D形状事前分布や生成モデルを用いたシーン再構成の関連研究(例:Ditto, SDF-based methods)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andrii Zadaianchuk, Leonardo Barcellona, Lennard Schuenemann, Christian Gumbsch, Zehao Wang, Muhammad Zubair Irshad, Fabien Despinoy, Rahaf Aljundi, Stratis Gavves, Sergey Zakharov

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Accurately reconstructing complex full multi-object scenes from sparse observations remains a core challenge in computer vision and a key step toward scalable and reliable simulation for robotics. In this work, we introduce RecGen, a generative framework for probabilistic joint estimation of object and part shapes, as well as their pose under occlusion and partial visibility from one or multiple RGB-D images. By leveraging compositional synthetic scene generation and strong 3D shape priors, RecGen generalizes across diverse object types and real-world environments. RecGen achieves state-of-the-art performance on complex, heavily occluded datasets, robustly handling severe occlusions, symmetric objects, object parts, and intricate geometry and texture. Despite using nearly 80% fewer training meshes than the previous state of the art SAM3D, RecGen outperforms it by 30.1% in geometric shape quality, 9.1% in texture reconstruction, and 33.9% in pose estimation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI