日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.08440

GraspFoM: 3D基盤モデルを用いた再構成駆動型ロボット把持

GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors

シェア:XThreadsFacebookLINEはてブBluesky

3D基盤モデル(SAM3D)を活用し、物体の再構成と把持姿勢予測を共有の3D潜在表現で統合するフレームワークを提案。再構成による幾何情報と把持学習の相互作用で、部分観測下でも高精度な把持と高忠実度な3D再構成を実現した。

詳しい要約

1. どんなもの?

- ロボット把持のための統合フレームワーク GraspFoM を提案。 - 3D foundation priors (SAM3D) を活用し、再構成と把持姿勢予測で共有される 3D object latent を構築。 - anchor-initialized truncated pose-reasoning diffuser により、離散的な把持候補に直接依存せず連続的・マルチモーダルな把持姿勢を予測。 - 再構成と把持の相互作用を reconstruction-aware scorer と residual latent updater で検討。 - 把持姿勢予測と高忠実度 3D アセット (mesh および 3DGS) の再構成を同時に実現。

2. 先行研究と比べてどこがすごい?

- 既存の geometry-aware 把持手法は再構成を中間予測として扱い、把持のための再利用可能な object prior として活用していなかった。 - GraspFoM は 3D foundation priors (SAM3D) に基づく共有 3D object latent を構築し、再構成と把持を統合。 - 離散的な把持候補に直接依存せず、連続的・マルチモーダルな把持姿勢を予測する点が異なる。 - 再構成と把持の両タスクで state-of-the-art を達成し、追加の学習可能パラメータは少数で済む。

3. 技術・手法の肝は?

- 3D foundation priors (SAM3D) を利用して共有 3D object latent を構築。 - anchor-initialized truncated pose-reasoning diffuser により連続的・マルチモーダルな把持姿勢を予測。 - reconstruction-aware scorer と residual latent updater で再構成と把持の相互作用をモデル化。 - 再構成が grounded な幾何手がかりを提供し、把持 supervision が共有 object latent を把持関連 affordance へ洗練。 - 把持姿勢と高忠実度 3D アセット (mesh, 3DGS) を同時予測。

4. どうやって有効だと検証した?

- 包括的な実験により、再構成と把持の両方で state-of-the-art を達成。 - 追加の学習可能パラメータは少数で済むことを示す。 - コンポーネントごとの ablation studies により各要素の寄与を検証。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある?

- 再構成と把持の相互作用を reconstruction-aware scorer と residual latent updater で検討。 - 再構成が幾何手がかりを提供し、把持 supervision が共有 latent を把持関連 affordance へ洗練する点を議論。 - 限界や失敗事例、計算コストなどの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 既存の geometry-aware grasping 手法、SAM3D。 - 関連手法: 3D foundation models、diffusion-based grasp pose prediction、3DGS (3D Gaussian Splatting)。 - 同分野の定番: 把持検出の GraspNet、6-DoF GraspNet、再構成の NeRF などが考えられるが、要旨に明示なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongli Wu, Xiaobao Wei, Hao Wang, Qiaochu Dong, Ying Li, Qingpo Wuwu, Ming Lu, Wufan Zhao

分類: cs.RO, cs.CV

原文アブストラクト

Robotic grasping is a fundamental capability in robotic manipulation. Yet grasping remains challenging under partial observations. Reliable grasping depends on both local contact cues and object-level 3D structure. Existing geometry-aware grasping methods recognize the value of reconstruction, but they typically treat geometry as an intermediate prediction rather than a reusable object prior for grasping. In this paper, we present GraspFoM, a unified framework that leverages 3D foundation priors (SAM3D) to build a shared 3D object latent for both reconstruction and grasp pose prediction. Built on this shared object latent, we introduce an anchor-initialized truncated pose-reasoning diffuser that predicts continuous and multimodal grasp poses without directly relying on discrete grasp candidates. We further investigate the interaction between reconstruction and grasping through a reconstruction-aware scorer and a residual latent updater. Reconstruction provides grounded geometric cues, while grasp supervision refines the shared object latent toward grasp-relevant affordances. GraspFoM jointly predicts grasp poses and reconstructs high-fidelity 3D assets in mesh and 3DGS forms. Comprehensive experiments demonstrate that GraspFoM achieves state-of-the-art results on both reconstruction and grasping. Notably, these improvements require only a small number of additional trainable parameters. Component-wise ablation studies also demonstrate the contribution of each component.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI