日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2605.13117

SECOND-Grasp: 意味的接触に基づく器用な把持

SECOND-Grasp: Semantic Contact-guided Dexterous Grasping

シェア:XThreadsFacebookLINEはてブBluesky

物理的に安定した把持と意味的なタスク理解を統合する、言語ガイド付きの器用な把持フレームワークを提案した。

詳しい要約

1. どんなもの?

- ロボットハンドによるdexterous graspingを対象に、物理的安定性と意味論的タスク指示を統合する枠組みSECOND-Graspを提案。 - 視覚言語推論で粗いcontact候補を得て、segmentationで領域を特定し、Semantic-Geometric Consistency Refinement (SGCR)で3D contact mapを精錬。 - 各contact mapからinverse kinematicsで実現可能なhand poseを導出し、policy learningの監督信号を生成。 - DexGraspNetで学習し、lifting成功率やintent-aware graspingを改善。

2. 先行研究と比べてどこがすごい?

- 従来は物理的安定性と意味論的指示を別々の目標として扱うことが多かった。 - 本研究はdexterous grasping技術(物体持ち上げのための物理的安定把持とlanguage-guided grasp generation)を統合。 - 意味論的推論に基づき把持戦略を動的に調整しつつ、物理的実現可能性を確保する点が特徴。 - 要旨からは、先行研究との具体的な性能差や優位性の詳細は不明。

3. 技術・手法の肝は?

- 視覚言語推論でcontact候補を粗く提案し、物体特性に基づき接触位置を推論。 - segmentationにより複数視点で領域を局所化。 - Semantic-Geometric Consistency Refinement (SGCR)で視点間の意味論的一貫性を強制し、幾何学的に無効な領域を除去して信頼できる3D contact mapを得る。 - 各contact mapからinverse kinematicsで実現可能なhand poseを導出し、policy learningの監督信号を生成。

4. どうやって有効だと検証した?

- DexGraspNetで学習し、seenカテゴリとunseenカテゴリのlifting成功率でベースラインを一貫して上回る(それぞれ98.2%、97.7%)。 - intent-aware graspingを12.8%および26.2%改善。 - 追加データセットやShadow Hand、Allegro Handを含む他のロボットハンドでも有望な結果を示す。

5. 議論はある?

- 要旨からは、限界や失敗事例、議論の詳細は不明。 - 物理的安定性と意味論的理解の統合を目指す点が強調されている。 - 追加データセットや異なるハンドでの結果が示されているが、具体的な議論は要旨からは不明。

6. 次に読むべき論文は?

- DexGraspNet(学習データセット) - Shadow Hand、Allegro Hand(評価に用いられたロボットハンド) - language-guided grasp generationに関する研究 - inverse kinematicsを用いた把持生成手法 - 要旨で参照/比較されている具体的な先行研究は不明なため、同分野の定番としてdexterous graspingやvision-language reasoning関連の研究を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Han Yi Shin, Heeju Ko, Jaewon Mun, Qixing Huang, Jaehyeok Lee, Sung June Kim, Honglak Lee, Sujin Jang, Sangpil Kim

分類: cs.RO, cs.AI

原文アブストラクト

Achieving reliable robotic manipulation, such as dexterous grasping, requires a synergy between physically stable interactions and semantic task guidance, yet these objectives are often treated as separate, disjoint goals. In this paper, we investigate how to integrate dexterous grasping techniques, i.e., physically stable grasps for object lifting and language-guided grasp generation, to achieve both physical stability and semantic understanding. To this end, we propose SECOND-Grasp (SEmantic CONtact-guided Dexterous Grasping), a unified framework that enables robotic hands to dynamically adjust grasping strategies based on semantic reasoning while ensuring physical feasibility. We begin by obtaining coarse contact proposals through vision-language reasoning to infer where contacts should occur based on object properties, followed by segmentation to localize these regions across views. To further ensure consistency across multiple viewpoints, we introduce Semantic-Geometric Consistency Refinement (SGCR), which refines initial contact predictions by enforcing semantic consistency across views and removing geometrically invalid regions, yielding reliable 3D contact maps. Then, we derive a feasible hand pose for each contact map via inverse kinematics, generating a supervision signal for policy learning. Our approach, trained on DexGraspNet, consistently outperforms baselines in lifting success rate on both seen and unseen categories, achieving 98.2% and 97.7%, respectively, while also improving intent-aware grasping by 12.8% and 26.2%. We further show promising results on additional datasets and robotic hands, including Shadow Hand and Allegro Hand.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI