日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.05791

VLAD-Grasp: 視覚言語モデルによるゼロショット把持検出

VLAD-Grasp: Zero-shot Grasp Detection via Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを活用し、学習なしで物体の把持姿勢を検出するゼロショット手法を提案。仮想円筒プロキシを生成して3D点群を整合させ、実機ロボットで汎化性能を示した。

詳しい要約

1. どんなもの?

- 目的 - 学習不要のzero-shot grasp detection手法 VLAD-Grasp の提案 - 構成 - Vision-Language model (VLM) を用いて把持を検出 - 大規模なgraspデータセットやexpert annotationを必要としない - 対象 - 未知物体へのzero-shot汎化を目指す - 実機は Franka Research 3 で実証

2. 先行研究と比べてどこがすごい?

- 先行研究の課題 - 従来のSOTAは大規模graspデータセットからの学習に依存 - データセットのsolution coverageに性能が制限される - 新規物体にはretrainingが必要 - 本研究の利点 - training-freeでcurated grasp datasetが不要 - Cornell と Jacquard でSOTAに匹敵する性能 - 実物体へのzero-shot汎化を実機で示す

3. 技術・手法の肝は?

- 3段階のパイプライン - (1) VLMにpromptを与え、仮想円筒proxyが物体形状と交差するgoal imageを生成 - 画像空間でantipodal grasp axisを明示的に符号化 - (2) 生成画像からdepthとsegmentationを予測し3Dへlift - (3) 生成点群と観測点群をprincipal componentsとcorrespondence-free optimizationで位置合わせし、実行可能なgrasp poseを復元 - 特徴 - 学習を一切行わないtraining-free構成

4. どうやって有効だと検証した?

- ベンチマーク - Cornell と Jacquard データセットで評価 - SOTA手法とcompetitiveな性能を報告 - 実機実験 - Franka Research 3 ロボットで実世界物体へのzero-shot汎化を実証 - 詳細な評価指標・被験物体数は要旨からは不明

5. 議論はある?

- 主張 - VLMがロボットマニピュレーションの強力なpriorになり得ることを示唆 - 限界・課題 - 具体的な失敗事例や計算コストの議論は要旨からは不明 - VLM生成画像の品質依存性やproxy形状の一般性は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として明示された研究はなし - 関連して読むべき候補 - 学習ベースgrasp detectionの代表的手法 (Cornell/Jacquardで評価されるSOTA) - VLMを用いたロボットマニピュレーション関連研究 - correspondence-free point cloud registration 手法 - antipodal grasp の古典的解析手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Manav Kulshrestha, S. Talha Bukhari, Damon Conover, Aniket Bera

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Robotic grasping is a fundamental capability for enabling autonomous manipulation, with usually infinite solutions. State-of-the-art approaches for grasping rely on learning from large-scale datasets comprising expert annotations of feasible grasps. Curating such datasets is challenging, and hence, learning-based methods are limited by the solution coverage of the dataset, and require retraining to handle novel objects. Towards this, we present VLAD-Grasp, a Vision-Language model Assisted zero-shot approach for Detecting Grasps. Our method (1) prompts a large vision-language model to generate a goal image where a virtual cylindrical proxy intersects the object's geometry, explicitly encoding an antipodal grasp axis in image space, then (2) predicts depth and segmentation to lift this generated image into 3D, and (3) aligns generated and observed object point clouds via principal components and correspondence-free optimization to recover an executable grasp pose. Unlike prior work, our approach is training-free and does not require curated grasp datasets, while achieving performance competitive with the state-of-the-art methods on the Cornell and Jacquard datasets. Furthermore, we demonstrate zero-shot generalization to real-world objects on a Franka Research 3 robot, highlighting vision-language models as powerful priors for robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI