日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.20841

OVAL-Grasp: タスク指向把持のためのオープンボキャブラリ・アフォーダンス定位

OVAL-Grasp: Open-Vocabulary Affordance Localization for Task Oriented Grasping

シェア:XThreadsFacebookLINEはてブBluesky

LLMとVLMを組み合わせ、RGB画像とタスク指示から対象物の把持すべき部位をゼロショットで特定し、アフォーダンスに基づくタスク指向把持を実現する手法を提案。

詳しい要約

1. どんなもの?

- 新規なタスク指向把持手法 OVAL-Grasp の提案 - zero-shot の open-vocabulary アプローチ - 与えられたタスクに応じて物体の正しい部位を把持 - RGB 画像とタスク入力から動作 - LLM と VLM を組み合わせて利用 - 把持すべき部位/避けるべき部位を特定しセグメント - 物体上の行動可能領域の 2D heatmap を生成

2. 先行研究と比べてどこがすごい?

- 従来の geometry-based 手法との比較 - 視覚的に定義される部位、occlusion、未見物体で苦戦する問題に対処 - 2 つの task oriented grasping ベースラインを上回る性能 - 20 household objects・各 3 タスクの実験で優位 - 部分的 occlusion 下や clutter シーンでも正しい部位選択が可能 - 視覚特徴に依存する部位選択シナリオでも有効性を提示

3. 技術・手法の肝は?

- LLM と VLM を組み合わせた modular 設計 - 入力: RGB 画像とタスク - LLM が把持/回避すべき部位を特定 - VLM がその部位をセグメント - 行動可能領域の 2D heatmap を生成 - zero-shot open-vocabulary で動作 - 詳細なモジュール構成は要旨からは不明

4. どうやって有効だと検証した?

- 20 household objects・各 3 タスクで 2 ベースラインと比較 - 実世界実験は Fetch mobile manipulator を使用 - 正しい部位の特定・セグメント成功率 95% - 正しい行動可能領域の把持成功率 78.3% - 部分的 occlusion 下の clutter シーンで部位選択成功率 80% - 視覚特徴依存シナリオでの有効性を提示 - ablation 実験で modular 設計の利点を確認

5. 議論はある?

- 部分的 occlusion や clutter への頑健性を議論 - 視覚特徴に依存する部位選択の有効性を議論 - modular 設計の利点を ablation で議論 - 限界や失敗事例の詳細は要旨からは不明 - 計算コストやリアルタイム性の議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象の 2 つの task oriented grasping ベースライン(具体名は要旨からは不明) - geometry-based grasping 手法 - LLM を用いたタスク計画/affordance 研究 - VLM を用いた open-vocabulary セグメンテーション研究 - プロジェクトページ https://ekjt.github.io/OVAL-Grasp/ で参照研究を確認

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Edmond Tong, Advaith Balaji, Anthony Opipari, Stanley Lewis, Zhen Zeng, Odest Chadwicke Jenkins

分類: cs.RO

原文アブストラクト

To manipulate objects in novel, unstructured environments, robots need task-oriented grasps that target object parts based on the given task. Geometry-based methods often struggle with visually defined parts, occlusions, and unseen objects. We introduce OVAL-Grasp, a zero-shot open-vocabulary approach to task-oriented, affordance based grasping that uses large-language models and vision-language models to allow a robot to grasp objects at the correct part according to a given task. Given an RGB image and a task, OVAL-Grasp identifies parts to grasp or avoid with an LLM, segments them with a VLM, and generates a 2D heatmap of actionable regions on the object. During our evaluations, we found that our method outperformed two task oriented grasping baselines on experiments with 20 household objects with 3 unique tasks for each. OVAL-Grasp successfully identifies and segments the correct object part 95% of the time and grasps the correct actionable area 78.3% of the time in real-world experiments with the Fetch mobile manipulator. Additionally, OVAL-Grasp finds correct object parts under partial occlusions, demonstrating a part selection success rate of 80% in cluttered scenes. We also demonstrate OVAL-Grasp's efficacy in scenarios that rely on visual features for part selection, and show the benefit of a modular design through our ablation experiments. Our project webpage is available at https://ekjt.github.io/OVAL-Grasp/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI