日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2607.20207

SeededGrasp: 複数身体を持つ複雑なシーンにおける言語誘導型把持

SeededGrasp: Language-Guided Grasping in Complex Scenes with Multiple Embodiments

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルで把持位置のシード点を予測し、軽量な把持生成モデルを条件付けることで、複数ロボット形態に対応したデータ効率の良い言語誘導把持を実現した。

詳しい要約

1. どんなもの?

- 複雑なシーンでのロボット把持を言語指示で行うフレームワーク SeededGrasp を提案。 - VLM が把持の seed point を予測し、軽量な把持生成モデルの条件付けに使う。 - 高レベル意味推論と低レベル幾何実行を分離し、複数 embodiment に対応。 - 2.5M 以上の把持を含む初の multi-embodiment tabletop grasping dataset を公開。

2. 先行研究と比べてどこがすごい?

- 既存手法は VLM が直接把持を予測し空間認識が限定的、または VLM と把持モデルを共同学習し大量データ・計算を要する。 - 提案手法はデータ効率が良く、end-to-end 学習を不要にしつつ複数 embodiment に拡張可能。 - シミュレーションで 72%、実世界で 78% の成功率を達成し既存 baseline を上回る。

3. 技術・手法の肝は?

- VLM に seed point を予測させ、その点を条件として軽量な grasp-generation model が把持を生成。 - 意味推論と幾何実行を分離するアーキテクチャにより、embodiment 間の共有と効率的学習を実現。 - 学習には新規公開の multi-embodiment tabletop grasping dataset を使用。

4. どうやって有効だと検証した?

- シミュレーションと実世界の把持実験で評価。 - シミュレーションで 72%、実世界で 78% の成功率を報告。 - 既存 baseline との比較で優位性を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている既存手法(VLM による直接把持予測、VLM と把持モデルの共同学習)に関する論文。 - 関連手法として vision-language models (VLMs) や grasping の研究。 - 公開データセット multi-embodiment tabletop grasping dataset を利用した研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yang Xu, Gurpreet Singh Mukker, Raymond Wang, Jasper Gerigk, Maria Attarian, Igor Gilitschenski

分類: cs.RO

原文アブストラクト

Practical robotic grasping in complex scenes requires both 3D spatial reasoning and alignment with task-specific requirements. Vision-language models (VLMs) offer a natural way to specify these requirements using language, but existing approaches either use a VLM to predict the grasp directly with limited spatial awareness, or train the VLM together with the grasping model, which requires significantly more data and compute. These limitations impede performance and have prevented scaling to multiple embodiments in complex scenes. We address this by proposing SeededGrasp, a novel data-efficient framework that enables a VLM to predict a seed point to be used as conditioning for a subsequent lightweight grasp-generation model. Our architecture decouples high-level semantic reasoning from low-level geometric execution, enabling multi-embodiment support while bypassing the need for expensive end-to-end training. To enable training such models, we release the first multi-embodiment tabletop grasping dataset comprising over 2.5M grasps in cluttered scenes. Experimental results demonstrate that our approach outperforms existing baselines, achieving 72% success in simulation and 78% in real-world grasping experiments. See our project site for data and code: https://uoft-isl.github.io/seeded-grasp/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI