日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成/物体分離/ロボット操作arXiv:2606.29303

物理ベースのロボット操作のための遮蔽に頑健な多物体分離

Occlusion-Robust Multi-Object Decoupling for Physics-Based Robotic Interaction

シェア:XThreadsFacebookLINEはてブBluesky

遮蔽や視点不足による物体の結合を、スパースビューからの3D再構成問題として捉え、マスク不要で複数物体を分離・再構成する手法を提案。3Dガウシアンスプラッティングと拡散モデルを組み合わせ、シミュレーション可能な物体を生成する。

詳しい要約

1. どんなもの?

- 疎で遮蔽された実世界視点から、マスク不要でロスレスな多物体3D再構成を行う手法を提案。 - Material Point Method (MPM) シミュレーションによる物理的に妥当なロボットインタラクションを可能にする。 - 物体の結合は遮蔽と限られた視点に起因するとし、多物体分離を疎視点再構成問題として定式化。 - 3D Gaussian Splattingを基本表現とし、SAM2で訓練したセグメンテーションフィールドで粗いインスタンス分割を取得。 - マスクに頼らず、joint Score Distillation Sampling (SDS) で断片化した形状を再構成。

2. 先行研究と比べてどこがすごい?

- 従来のマスクベース手法と異なり、手動マスクを必要としない。 - 疎で遮蔽された視点からの多物体再構成を可能にし、物理シミュレーションに適した完全な3Dオブジェクトを生成。 - 合成、ロボット、実世界データセットでリアルな動的インタラクションを実現。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- 3D Gaussian Splattingを基本表現として使用。 - SAM2で訓練したセグメンテーションフィールドで粗いインスタンス分割を取得。 - joint Score Distillation Sampling (SDS) を活用し、参照視点監督と新規視点合成を統合。 - 2Dおよび3D拡散事前分布でテクスチャ忠実性と3D一貫性を強制。 - 物体内および物体間の類似性などの幾何認識事前分布を組み込み、幾何推論を正則化。

4. どうやって有効だと検証した?

- 合成、ロボット、実世界データセットで実験。 - 手動マスクなしで完全なシミュレーション可能な3Dオブジェクトを生成し、リアルな動的インタラクションを実現することを示した。 - 具体的な評価指標や比較手法は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究: 3D Gaussian Splatting, SAM2, Score Distillation Sampling (SDS), Material Point Method (MPM)。 - 関連手法: 2Dおよび3D拡散事前分布。 - 同分野の定番: 多物体3D再構成、疎視点再構成、物理ベースロボットインタラクション。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xin Dong, Lihan Zhang, Tianru Dai, Wenfeng Deng, Yansong Tang

分類: cs.CV

原文アブストラクト

We propose a mask-free method for lossless multi-object 3D reconstruction from sparse and occluded real-world views, enabling physically plausible robotic interaction via Material Point Method (MPM) simulation. Our key insight is that object coupling stems from occlusion and limited viewpoints, which we address by formulating multi-object decoupling as a sparse-view reconstruction problem. Using 3D Gaussian Splatting as base representation, we first obtain coarse instance partitions with a SAM2-trained segmentation field. Rather than relying on masks, we reconstruct fragmented geometries by leveraging a joint Score Distillation Sampling (SDS) process, which integrates reference-view supervision with novel-view synthesis guided by 2D and 3D diffusion priors to enforce both texture fidelity and 3D consistency. Furthermore, we incorporate geometry-aware priors such as intra-object and inter-object similarity to regularize geometric reasoning. Experimental results demonstrate that our method produces complete, simulation-ready 3D objects without requiring manual masks, enabling realistic dynamic interactions on both synthetic, robotic and real-world datasets.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI