日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.12294

PartDexTOG: 言語駆動型パーツ解析による器用なタスク指向把持の生成

PartDexTOG: Generating Dexterous Task-Oriented Grasping via Language-driven Part Analysis

シェア:XThreadsFacebookLINEはてブBluesky

LLMで物体の部位と把持方法を言語解析し、拡散モデルで各部位に適した多指ハンドの把持を生成する手法を提案。

詳しい要約

1. どんなもの?

- 3D物体と自然言語で記述された操作タスクを入力とし、dexterous handによるtask-oriented graspingを生成する手法PartDexTOGを提案した研究。 - LLMによる言語駆動のpart analysisを活用し、物体の部位ごとに把持を生成する点が特徴。 - ロボティクス/フィジカルAIにおけるdexterous manipulationの課題に取り組む。

2. 先行研究と比べてどこがすごい?

- 従来のtask-oriented grasping研究はdexterous handを扱うものが少ないと指摘。 - dexterous handは精度・汎用性が高く、task-oriented graspingをより効果的に実行できると主張。 - part analysisが物体の機能に関する詳細情報を与え、dexterous graspingを強化できるという立場を取る。 - OakInk-shape dataset上で既存手法を上回り、Penetration Volume、Grasp Displace、P-FIDをそれぞれ3.58%、2.87%、41.43%改善したと報告。

3. 技術・手法の肝は?

- 入力: 3D物体と自然言語で表されたmanipulation task。 - まずLLMがタスクに関連するcategory-levelおよびpart-levelのgrasp descriptionを生成。 - 次にcategory-part conditional diffusion modelを構築し、生成された記述に基づいて各partごとにdexterous graspを生成。 - 生成されたgraspとpartの組み合わせの中から、geometric consistencyに基づく指標で最も妥当な組合せを選択。 - LLMのopen-world knowledge reasoningにより、異なるgeometryの物体や異なるタスクへのgrasp生成学習が促進される。

4. どうやって有効だと検証した?

- OakInk-shape dataset上で評価を実施。 - すべての既存手法に対してトップの順位を獲得。 - Penetration Volume、Grasp Displace、P-FIDの3指標でstate-of-the-artをそれぞれ3.58%、2.87%、41.43%上回った。 - 新規カテゴリや新規タスクへの汎用性も示したと報告。

5. 議論はある?

- 要旨からは不明。 - ただしLLMによるopen-world knowledge reasoningがpart理解に大きく寄与し、geometryやタスクの違いを超えたgrasp生成学習を自然に促進すると主張している。 - 限界や失敗ケースに関する議論は要旨には記載なし。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として、task-oriented grasping、dexterous grasping、category-part conditional diffusion model、LLM-based grasp description生成、OakInk-shape datasetを用いた研究を挙げる。 - 同分野の定番として、task-oriented graspingおよびdexterous hand manipulationに関する研究を次に読むべき候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weishang Wu, Yifei Shi, Zhizhong Chen, Zhipong Cai

分類: cs.RO

原文アブストラクト

Task-oriented grasping is a crucial yet challenging task in robotic manipulation. Despite the recent progress, few existing methods address task-oriented grasping with dexterous hands. Dexterous hands provide better precision and versatility, enabling robots to perform task-oriented grasping more effectively. In this paper, we argue that part analysis can enhance dexterous grasping by providing detailed information about the object's functionality. We propose PartDexTOG, a method that generates dexterous task-oriented grasps via language-driven part analysis. Taking a 3D object and a manipulation task represented by language as input, the method first generates the category-level and part-level grasp descriptions w.r.t the manipulation task by LLMs. Then, a category-part conditional diffusion model is developed to generate a dexterous grasp for each part, respectively, based on the generated descriptions. To select the most plausible combination of grasp and corresponding part from the generated ones, we propose a measure of geometric consistency between grasp and part. We show that our method greatly benefits from the open-world knowledge reasoning on object parts by LLMs, which naturally facilitates the learning of grasp generation on objects with different geometry and for different manipulation tasks. Our method ranks top on the OakInk-shape dataset over all previous methods, improving the Penetration Volume, the Grasp Displace, and the P-FID over the state-of-the-art by $3.58\%$, $2.87\%$, and $41.43\%$, respectively. Notably, it demonstrates good generality in handling novel categories and tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI