日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成/マニピュレーションarXiv:2507.05627

DreamGrasp: 部分視点画像からのゼロショット3Dマルチオブジェクト再構成によるロボットマニピュレーション

DreamGrasp: Zero-Shot 3D Multi-Object Reconstruction from Partial-View Images for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

大規模画像生成モデルの想像力を活用し、少数のRGB画像から遮蔽された物体を含む3D形状とインスタンスを再構成するフレームワークを提案。ロボットによる片付けや目標物探索を高成功率で実現する。

詳しい要約

1. どんなもの?

- 部分視点の疎なRGB画像から3D形状復元と物体インスタンス識別を行う枠組み - 大規模事前学習済み画像生成モデルの imagination 能力で未観測部分を推測 - 粗い3D再構成、contrastive learning による instance segmentation、text-guided な instance-wise refinement を統合 - 乱雑・遮蔽のある実環境でのロボット操作を想定

2. 先行研究と比べてどこがすごい?

- 強い対称性 prior に基づく手法や curated dataset での supervised learning はこのような場面への汎化が不十分 - DreamGrasp は生成モデルの imagination で未観測部を補い、これらの制約を回避 - 複数物体の複雑環境でも頑健な3D再構成を可能にする点が新規

3. 技術・手法の肝は?

- 大規模事前学習済み image generative model を活用し未観測領域を推測 - coarse 3D reconstruction を実施 - contrastive learning による instance segmentation - text-guided な instance-wise refinement で形状を精緻化 - これらを組み合わせ部分視点の multi-object 環境に対応

4. どうやって有効だと検証した?

- 実験で正確な物体形状の復元を確認 - 下流タスクとして sequential decluttering と target retrieval を実施し高い成功率を報告 - 詳細なデータセット・指標・比較手法は要旨からは不明

5. 議論はある?

- 生成モデルによる未観測部の推測が精度に与える影響や失敗事例の議論は要旨からは不明 - 計算コストや real-time 性、遮蔽の程度への頑健性も要旨からは不明 - 限界や今後の課題についての明示的記述は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として symmetry prior ベースの3D再構成、curated dataset での supervised learning、contrastive learning による instance segmentation、text-guided 3D refinement、大規模 image generative model を用いた3D生成の定番研究を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Young Hun Kim, Seungyeon Kim, Yonghyeon Lee, Frank Chongwoo Park

分類: cs.RO, cs.CV

原文アブストラクト

Partial-view 3D recognition -- reconstructing 3D geometry and identifying object instances from a few sparse RGB images -- is an exceptionally challenging yet practically essential task, particularly in cluttered, occluded real-world settings where full-view or reliable depth data are often unavailable. Existing methods, whether based on strong symmetry priors or supervised learning on curated datasets, fail to generalize to such scenarios. In this work, we introduce DreamGrasp, a framework that leverages the imagination capability of large-scale pre-trained image generative models to infer the unobserved parts of a scene. By combining coarse 3D reconstruction, instance segmentation via contrastive learning, and text-guided instance-wise refinement, DreamGrasp circumvents limitations of prior methods and enables robust 3D reconstruction in complex, multi-object environments. Our experiments show that DreamGrasp not only recovers accurate object geometry but also supports downstream tasks like sequential decluttering and target retrieval with high success rates.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI