日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.06832

UniDiffGrasp:VLM推論とパーツ拡散を統合した双腕オープンボキャブラリ制約把持フレームワーク

UniDiffGrasp: A Unified Framework Integrating VLM Reasoning and VLM-Guided Part Diffusion for Open-Vocabulary Constrained Grasping with Dual Arms

シェア:XThreadsFacebookLINEはてブBluesky

VLMで対象物の機能パーツを特定し、その幾何制約を拡散モデルに与えて6自由度把持を生成、双腕協調把持も行う統合フレームワークを提案。実機で単腕0.876、双腕0.767の成功率を達成。

詳しい要約

1. どんなもの?

- 双腕ロボットによる open-vocabulary かつ task-oriented な機能部位 grasping を目指す統合フレームワーク UniDiffGrasp の提案 - VLM による推論と VLM-guided part diffusion を組み合わせる - ユーザ入力から semantic targets(object, part(s), mode)を解釈し、open-vocabulary segmentation で接地 - 特定部位への制約付き 6-DoF grasp 生成と双腕協調 grasping を一つの枠組みで扱う

2. 先行研究と比べてどこがすごい?

- 既存 VLM は task understanding を高める一方、定義された制約下での精密な grasp 生成と双腕協調が苦手 - UniDiffGrasp は VLM 推論と part-guided diffusion を統合し、再学習なしで高品質 6-DoF grasp を生成 - 実環境で single-arm 0.876、dual-arm 0.767 の grasp 成功率を達成し、既存 state-of-the-art を大きく上回ると報告 - 複雑な実環境での精密かつ協調的な open-vocabulary grasping を可能にする点が新規

3. 技術・手法の肝は?

- VLM がユーザ入力から semantic targets(object, part(s), mode)を解釈 - open-vocabulary segmentation により対象部位を接地 - 同定した部位が Constrained Grasp Diffusion Field (CGDF) の Part-Guided Diffusion に幾何制約を与える - 再学習なしで効率的に高品質 6-DoF grasp を生成 - 双腕では各 arm に異なる target region を定義し、arm ごとに part-guided diffusion を適用、安定な cooperative grasp を選択

4. どうやって有効だと検証した?

- 実世界での extensive な deployment により検証 - single-arm で grasp 成功率 0.876、dual-arm で 0.767 を達成 - 既存 state-of-the-art 手法を有意に上回ることで有効性を示す - 複雑な実環境での精密・協調的な open-vocabulary grasping の能力を実証

5. 議論はある?

- 要旨からは不明 - 失敗要因や制約条件、双腕協調の限界、VLM 誤認識時の影響などについての議論は要旨に記載なし

6. 次に読むべき論文は?

- 要旨で参照・比較されている既存 state-of-the-art の grasping 手法(具体的名称は要旨からは不明) - open-vocabulary segmentation 関連手法 - Vision-Language Model (VLM) を用いた task-oriented grasping 研究 - 6-DoF grasp 生成の diffusion ベース手法 - dual-arm cooperative grasping の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xueyang Guo, Hongwei Hu, Chengye Song, Jiale Chen, Zilin Zhao, Yu Fu, Bowen Guan, Zhenze Liu

分類: cs.RO

原文アブストラクト

Open-vocabulary, task-oriented grasping of specific functional parts, particularly with dual arms, remains a key challenge, as current Vision-Language Models (VLMs), while enhancing task understanding, often struggle with precise grasp generation within defined constraints and effective dual-arm coordination. We innovatively propose UniDiffGrasp, a unified framework integrating VLM reasoning with guided part diffusion to address these limitations. UniDiffGrasp leverages a VLM to interpret user input and identify semantic targets (object, part(s), mode), which are then grounded via open-vocabulary segmentation. Critically, the identified parts directly provide geometric constraints for a Constrained Grasp Diffusion Field (CGDF) using its Part-Guided Diffusion, enabling efficient, high-quality 6-DoF grasps without retraining. For dual-arm tasks, UniDiffGrasp defines distinct target regions, applies part-guided diffusion per arm, and selects stable cooperative grasps. Through extensive real-world deployment, UniDiffGrasp achieves grasp success rates of 0.876 in single-arm and 0.767 in dual-arm scenarios, significantly surpassing existing state-of-the-art methods, demonstrating its capability to enable precise and coordinated open-vocabulary grasping in complex real-world scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI