日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.08126

属性に基づく物体グラウンディングと空間推論によるロボット把持検出

Attribute-based Object Grounding and Robot Grasp Detection with Spatial Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

自然言語で指定された物体を空間推論で特定し、把持姿勢を予測するフレームワークOGRGを提案。重複物体がある場面でも機能し、弱教師あり学習にも対応する。

詳しい要約

1. どんなもの?

- 自然言語で指定された物体をロボットが把持するための新フレームワーク OGRG (Attribute-based Object Grounding and Robotic Grasping) を提案 - open-form な言語表現を解釈し、spatial reasoning により対象物体の grounding と planar grasp pose 予測を行う - 同一物体が複数存在するシーンにも対応 - (1) pixel-wise full supervision の Referring Grasp Synthesis (RGS) と (2) single-pixel grasp annotation のみの弱教師あり Referring Grasp Affordance (RGA) の2設定で検討

2. 先行研究と比べてどこがすごい?

- 既存手法は open-form な言語表現や重複物体のある場面を苦手とし、曖昧でない単一対象を仮定することが多い - 既存手法は grounding と grasp configuration の双方に高コストな dense pixel-wise annotation を要することが多い - OGRG は重複インスタンスを含むシーンでも spatial reasoning で grounding と grasp 予測を実現 - RGA 設定では single-pixel の弱教師のみで学習可能 - 実験で全ベースラインに対し grounding・grasp 予測精度で優位、RGA でも grasp 成功率で上回る

3. 技術・手法の肝は?

- bi-directional vision-language fusion module を中核に採用 - depth 情報を統合し geometric reasoning を強化することで grounding と grasping の性能を向上 - open-form 言語表現の解釈と spatial reasoning を組み合わせて対象物体を ground - planar grasp pose を予測 - RGS では pixel-wise full supervision、RGA では single-pixel grasp annotation のみの弱教師あり学習で動作

4. どうやって有効だと検証した?

- 多様な spatial language instructions を含む tabletop シーンで strong baselines と比較 - RGS 設定で grounding・grasp 予測精度が全ベースラインを上回ることを確認 - 単一 NVIDIA RTX 2080 Ti GPU 上で 17.59 FPS の動作を報告 - RGA 設定で simulation と real-robot trials の双方において baseline の grasp-success rates を上回った

5. 議論はある?

- 17.59 FPS の推論速度により closed-loop や multi-object sequential grasping への応用可能性を示唆 - 弱教師あり RGA 設定でも実機・シミュレーションで有効性を確認し spatial reasoning 設計の有効性を主張 - 具体的な失敗事例や限界、計算コストの詳細な議論は要旨からは不明 - 対象は tabletop シーンに限定されており、他の環境への一般化は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として明示された個別の先行研究名は記載なし - 関連手法として Referring Grasp Synthesis (RGS) および Referring Grasp Affordance (RGA) の既存研究 - vision-language fusion 関連の grounding 手法 - weakly supervised grasp detection の研究 - 詳細は project page (https://z.umn.edu/ogrg) を参照

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Houjian Yu, Zheming Zhou, Min Sun, Omid Ghasemalizadeh, Yuyin Sun, Cheng-Hao Kuo, Arnie Sen, Changhyun Choi

分類: cs.RO

原文アブストラクト

Enabling robots to grasp objects specified through natural language is essential for effective human-robot interaction, yet it remains a significant challenge. Existing approaches often struggle with open-form language expressions and typically assume unambiguous target objects without duplicates. Moreover, they frequently rely on costly, dense pixel-wise annotations for both object grounding and grasp configuration. We present Attribute-based Object Grounding and Robotic Grasping (OGRG), a novel framework that interprets open-form language expressions and performs spatial reasoning to ground target objects and predict planar grasp poses, even in scenes containing duplicated object instances. We investigate OGRG in two settings: (1) Referring Grasp Synthesis (RGS) under pixel-wise full supervision, and (2) Referring Grasp Affordance (RGA) using weakly supervised learning with only single-pixel grasp annotations. Key contributions include a bi-directional vision-language fusion module and the integration of depth information to enhance geometric reasoning, improving both grounding and grasping performance. Experiment results show that OGRG outperforms strong baselines in tabletop scenes with diverse spatial language instructions. In RGS, it operates at 17.59 FPS on a single NVIDIA RTX 2080 Ti GPU, enabling potential use in closed-loop or multi-object sequential grasping, while delivering superior grounding and grasp prediction accuracy compared to all the baselines considered. Under the weakly supervised RGA setting, OGRG also surpasses baseline grasp-success rates in both simulation and real-robot trials, underscoring the effectiveness of its spatial reasoning design. Project page: https://z.umn.edu/ogrg

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI