日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2512.03874

OmniDexVLG:視覚言語モデルが導く把持意味論・分類・機能的アフォーダンスからの器用な把持生成学習

OmniDexVLG: Learning Dexterous Grasp Generation from Vision Language Model-Guided Grasp Semantics, Taxonomy and Functional Affordance

シェア:XThreadsFacebookLINEはてブBluesky

言語と視覚の指示に基づき、把持分類・接触意味論・機能的アフォーダンスを統合的に扱う器用な把持生成フレームワークを提案。大規模データ生成パイプラインとマルチモーダル推論モジュールを組み合わせ、意味的に制御可能な把持を実現する。

詳しい要約

1. どんなもの?

- 言語と視覚の指示から、意味的に整合した dexterous grasp を生成するマルチモーダル枠組み OmniDexVLG の提案 - grasp taxonomy・contact semantics・functional affordance という複数の意味次元を統合的に扱う点を狙う - データ生成パイプライン OmniDexDataGen、意味推論モジュール OmniDexReasoner、統合生成モデルから構成 - 構造的に多様で意味的に一貫した grasp を生成することを目的とする

2. 先行研究と比べてどこがすごい?

- 従来は grasp taxonomy・contact semantics・functional affordance を統一モデル化できず、意味的に制御可能な生成が困難だった - 提案法はこれら複数の意味次元を明示的に取り込み、自然言語指示からの fine grained 制御を可能にする - 実験で grasp diversity・contact semantic diversity・functional affordance diversity・semantic consistency の点で state of the art を大きく上回ると報告 - 具体的な比較対象手法名は要旨からは不明

3. 技術・手法の肝は?

- OmniDexDataGen: grasp taxonomy に基づく構成サンプリング、functional affordance の接触点サンプリング、taxonomy aware な differential force closure grasp サンプリング、物理ベース最適化と検証を統合したデータ生成 - OmniDexReasoner: multi agent collaboration・retrieval augmented generation・chain of thought reasoning を用い、grasp 関連意味を推論し言語指示と grasp intent を整合させる高品質注釈を生成 - 統合 Vision Language Grasping 生成モデルが grasp taxonomy・contact structure・functional affordance semantics を明示的に組み込む

4. どうやって有効だと検証した?

- simulation および real world の物体 grasping 実験を実施 - ablation studies を実施 - grasp diversity・contact semantic diversity・functional affordance diversity・semantic consistency の指標で評価 - これらの結果から state of the art を大きく上回ると報告

5. 議論はある?

- 要旨からは不明(限界や失敗事例、計算コスト、データ生成パイプラインの汎化性などに関する議論は記述されていない)

6. 次に読むべき論文は?

- differential force closure grasp sampling(関連する grasp sampling 手法) - retrieval augmented generation および chain of thought reasoning を用いたマルチモーダル推論 - Vision Language Grasping / vision language model に基づく grasp 生成の関連研究 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lei Zhang, Diwen Zheng, Kaixin Bai, Zhenshan Bing, Zoltan-Csaba Marton, Zhaopeng Chen, Alois Christian Knoll, Jianwei Zhang

分類: cs.RO, cs.LG

原文アブストラクト

Dexterous grasp generation aims to produce grasp poses that align with task requirements and human interpretable grasp semantics. However, achieving semantically controllable dexterous grasp synthesis remains highly challenging due to the lack of unified modeling of multiple semantic dimensions, including grasp taxonomy, contact semantics, and functional affordance. To address these limitations, we present OmniDexVLG, a multimodal, semantics aware grasp generation framework capable of producing structurally diverse and semantically coherent dexterous grasps under joint language and visual guidance. Our approach begins with OmniDexDataGen, a semantic rich dexterous grasp dataset generation pipeline that integrates grasp taxonomy guided configuration sampling, functional affordance contact point sampling, taxonomy aware differential force closure grasp sampling, and physics based optimization and validation, enabling systematic coverage of diverse grasp types. We further introduce OmniDexReasoner, a multimodal grasp type semantic reasoning module that leverages multi agent collaboration, retrieval augmented generation, and chain of thought reasoning to infer grasp related semantics and generate high quality annotations that align language instructions with task specific grasp intent. Building upon these components, we develop a unified Vision Language Grasping generation model that explicitly incorporates grasp taxonomy, contact structure, and functional affordance semantics, enabling fine grained control over grasp synthesis from natural language instructions. Extensive experiments in simulation and real world object grasping and ablation studies demonstrate that our method substantially outperforms state of the art approaches in terms of grasp diversity, contact semantic diversity, functional affordance diversity, and semantic consistency.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI