日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.08417

ORACLE-Grasp: 大規模マルチモーダルモデルを用いたゼロショットのアフォーダンス整合型ロボット把持

ORACLE-Grasp: Zero-Shot Affordance-Aligned Robotic Grasping using Large Multimodal Models

シェア:XThreadsFacebookLINEはてブBluesky

大規模マルチモーダルモデルを意味的オラクルとして活用し、タスク固有の学習なしに未知物体のアフォーダンスに沿った把持をゼロショットで生成するフレームワークを提案。

詳しい要約

1. どんなもの?

- 対象: 非構造環境で未知物体を把持する service robots 向けの zero-shot 把持選択フレームワーク ORACLE-Grasp - 目的: 物体の意味理解と空間推論を両立し、affordance に整合した把持を生成 - 特徴: タスク特異的学習や手動入力なしで動作し、LMMs を semantic oracles として利用 - 入力: RGB および RGB-D 画像、出力は把持候補の提案 - 位置づけ: 家庭・病院・倉庫など動的環境での汎化を狙う

2. 先行研究と比べてどこがすごい?

- 従来法: dense training datasets や詳細な geometric modeling に依存し、データ収集コスト大 - 従来の限界: 新規物体や新規 affordance への汎化が不十分 - 本研究の利点: task-specific training と manual input を不要にする zero-shot 枠組み - 意味と空間の統合: LMMs の意味理解に、領域離散化による空間推論を組み合わせる - 効率化: early stopping により計算コストを抑制 - 注: 具体的な先行手法名との定量比較は要旨からは不明

3. 技術・手法の肝は?

- 核: LMMs を semantic oracle として把持予測を構造化・反復的な意思決定に再定式化 - dual-prompt tool-calling: 第1プロンプトで物体の高レベル意味を抽出、第2で機能に整合する把持可能領域を特定 - 空間制約への対処: 画像を candidate regions に離散化し、その上で推論して人間的で文脈依存の把持を提案 - 精緻化: depth-based refinement を利用可能時に適用し把持の信頼性を向上 - 効率化: early stopping mechanism を導入 - 注: 具体的なモデル名・プロンプト設計の詳細は要旨からは不明

4. どうやって有効だと検証した?

- データ: 日常物体と AI-generated objects を含む多様な RGB および RGB-D 画像で評価 - 評価観点: 物理的に実行可能か、意味的に適切か、human annotations との整合性 - 結果: 人間注釈に近い把持を生成し、実世界の pick-up tasks で高い成功率を報告 - 比較: 先行研究との定量比較の詳細は要旨からは不明 - 注: 被験者数・試行数・ベースライン名は要旨からは不明

5. 議論はある?

- 主張: LMMs により物体特異モデルや大規模学習なしで柔軟・汎用的な把持戦略が可能 - 意義: autonomous service robots への応用可能性を示唆 - 限界への言及: LMMs の spatial limitations を認識し、領域離散化と depth-based refinement で補完 - 未解決: depth が利用できない場合の性能、LMM の幻覚やプロンプト依存性、計算コストの詳細は要旨からは不明 - 注: 失敗事例や定量的な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較された個別研究は明示されていない - 関連して読むべき定番: affordance-based grasping、zero-shot object grasping、RGB-D grasp detection、LMMs を用いた robotic manipulation - 比較候補として一般名: GraspNet 系の grasp detection、CLIP 系の vision-language 表現を用いた把持 - 注: 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Avihai Giuili, Rotem Atari, Avishai Sintov

分類: cs.RO

原文アブストラクト

Grasping unknown objects in unstructured environments is a critical challenge for service robots, which must operate in dynamic, real-world settings such as homes, hospitals, and warehouses. Success in these environments requires both semantic understanding and spatial reasoning. Traditional methods often rely on dense training datasets or detailed geometric modeling, which demand extensive data collection and do not generalize well to novel objects or affordances. We present ORACLE-Grasp, a zero-shot framework that leverages Large Multimodal Models (LMMs) as semantic oracles to guide affordance-aligned grasp selection, without requiring task-specific training or manual input. The system reformulates grasp prediction as a structured, iterative decision process, using a dual-prompt tool-calling strategy: the first prompt extracts high-level object semantics, while the second identifies graspable regions aligned with the object's function. To address the spatial limitations of LMMs, ORACLE-Grasp discretizes the image into candidate regions and reasons over them to produce human-like and context-sensitive grasp suggestions. A depth-based refinement step improves grasp reliability when available, and an early stopping mechanism enhances computational efficiency. We evaluate ORACLE-Grasp on a diverse set of RGB and RGB-D images featuring both everyday and AI-generated objects. The results show that our method produces physically feasible and semantically appropriate grasps that align closely with human annotations, achieving high success rates in real-world pick-up tasks. Our findings highlight the potential of LMMs for enabling flexible and generalizable grasping strategies in autonomous service robots, eliminating the need for object-specific models or extensive training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI