日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2610.20901

TGrasp6D: タスク指向6DoF把持のための視覚言語事前知識と姿勢最適化によるゼロショット把持

TGrasp6D: Task-Informed Vision-Language Priors and Pose Refinement enable Zero-Shot Task-Oriented 6DoF Grasping

シェア:XThreadsFacebookLINEはてブBluesky

タスクと物体のRGB-D画像から、視覚言語モデルでタスクに適した把持位置を推定し、6DoF姿勢最適化で衝突を避けつつゼロショットでタスク指向把持を実現する手法を提案。

詳しい要約

1. どんなもの?

- タスク指向6DoF把持(TOG)をゼロショットで生成する手法「TGrasp6D」を提案。 - タスクと物体のRGB-D画像から、視覚言語モデルを活用して適切な把持位置を推論。 - 初期のタスク情報付き事前分布を生成し、6DoF姿勢最適化で衝突回避とタスク整合性を両立。 - TaskGraspデータセットで94%の成功率を達成し、実機Franka Research 3でもゼロショット汎化を実証。

2. 先行研究と比べてどこがすごい?

- 従来のTOG手法は2D平面把持に限定、タスク非依存の把持生成器に依存、または手動注釈付きの限られたタスク特化データセットに制約されていた。 - TGrasp6Dはゼロショットで6DoF把持を生成し、データセットの制約を克服。 - TaskGraspデータセットで94%の成功率を達成し、最高のベースライン(74%)を大幅に上回る。

3. 技術・手法の肝は?

- 視覚言語モデルを用いて、タスクと物体のRGB-D画像から意味的アフォーダンスを推論。 - 推論結果を初期のタスク情報付き事前分布として利用。 - 6DoF姿勢最適化により、衝突回避を図りつつタスク整合性を保持するように把持姿勢を洗練。

4. どうやって有効だと検証した?

- TaskGraspデータセット上で評価し、94%の成功率を達成。 - 最高のベースライン手法(74%)と比較して優位性を確認。 - Franka Research 3ロボットに実装し、実世界物体へのゼロショット汎化を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- TaskGraspデータセット(関連研究として参照) - タスク指向把持(TOG)の先行手法(具体的名称は要旨に記載なし) - 視覚言語モデルを活用したロボット把持の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Manav Kulshrestha, Apoorva Vashisth, Damon Conover, Aniket Bera

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Task-Oriented Grasping (TOG) has emerged as an important skill for purposeful robotic manipulation. Given the task of using a knife to "slice bread," a robot must choose to grasp from the handle, whereas for "hand[ing] the knife over," it is preferable for the handle to remain unobstructed for safe handoff. Current approaches for TOG either focus on 2D planar grasping, remain limited by their reliance on task-agnostic grasp generators, or are constrained by reliance on finite, manually-annotated, task-specific grasp datasets that cannot cover all possible grasp-task pairs. To that end, we present TGrasp6D, a vision-language based approach for generating task-oriented 6DoF grasps in a zero-shot manner. Given a task and a single RGB-D image of an associated object, TGrasp6D reasons about the appropriate semantic affordance for the given task and object geometry to produce an initial task- informed prior. This generated prior is further refined via 6DoF pose optimization for collision avoidance while preserving task consistency. Our approach achieves state-of-the-art success rate of 94% on the TaskGrasp dataset, with the best baseline at 74%. We also deploy our approach on a Franka Research 3 robot to demonstrate zero-shot generalization to real world objects

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI