日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2605.02347

ShapeGrasp: 視覚と触覚を統合した形状補完と把持の同時実行によるロボット操作の向上

ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

単一のRGB-D画像から物体の完全な3D形状を推定し、物理シミュレーションで把持計画を行い、実際の把持試行から得られる触覚情報で形状を更新する反復的な把持・補完パイプラインを提案。実機で2種類のグリッパーを用いて評価し、高い把持成功率と形状再構成精度を達成した。

詳しい要約

1. どんなもの?

- ロボットが未知物体を把持する際に、視覚と触覚を統合して形状を補完しながら把持を行う手法「ShapeGrasp」を提案。 - 単一のRGB-D視点から完全な形状(点群または三角メッシュ)を推論し、剛体シミュレーションで候補把持を生成、実行する。 - 各把持試行で触覚接触とグリッパ占有空間の幾何制約を得て形状を更新し、失敗時には姿勢再推定と再把持を行う。 - 実世界で2種類のロボットとグリッパを用いて評価し、把持成功率84%(3本指)と91%(2本指)を達成。 - 3D形状再構成品質も全ての評価指標で改善。

2. 先行研究と比べてどこがすごい?

- 従来の視覚触覚形状補完と把持計画を組み合わせた手法と比較して、実世界の把持後に形状表現を更新する初のアプローチ。 - ベースラインよりも把持成功率と形状再構成品質の両方で優れた結果を達成。 - 単一視点からの形状補完と把持を反復的に統合することで、未知物体への適応性を向上。

3. 技術・手法の肝は?

- 暗黙的表面表現を用いた視覚触覚形状補完(visuo-haptic shape completion)と物理ベース把持計画を結合。 - 単一RGB-D視点から完全形状を推論し、剛体シミュレーションで候補把持を生成・評価。 - 把持試行ごとに触覚表面接触とグリッパ占有空間の制約を融合して形状を更新。 - 把持失敗時には姿勢再推定と再把持を実行。

4. どうやって有効だと検証した?

- 実世界で2種類のロボットとグリッパ(3本指と2本指)を用いて評価。 - 把持成功率は3本指グリッパで84%、2本指グリッパで91%を達成。 - 3D形状再構成品質を複数の評価指標で測定し、全ての指標でベースラインを上回る改善を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、視覚触覚形状補完(visuo-haptic shape completion)や物理ベース把持計画(physics-based grasp planning)の論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lukas Rustler, Matej Hoffmann

分類: cs.RO

原文アブストラクト

Humans grasp unfamiliar objects by combining an initial visual estimate with tactile and proprioceptive feedback during interaction. We present ShapeGrasp, a robotic implementation of this approach. The proposed method is an iterative grasp-and-complete pipeline that couples implicit surface visuo-haptic shape completion (creation of full 3D shape from partial information) with physics-based grasp planning. From a single RGB-D view, ShapeGrasp infers a complete shape (point cloud or triangular mesh), generates candidate grasps via rigid-body simulation, and executes the best feasible grasp. Each grasp attempt yields additional geometric constraints -- tactile surface contacts and space occupied by the gripper body -- which are fused to update the object shape. Failures trigger pose re-estimation and regrasping using the refined shape. We evaluate ShapeGrasp in the real world using two different robots and grippers. To the best of our knowledge, this is the first approach that updates shape representations following a real-world grasp. We achieved superior results over baselines for both grippers (grasp success rate of 84% with a three-finger gripper and 91% with a two-finger gripper), while improving the 3D shape reconstruction quality in all evaluation metrics used.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI