マニピュレーション2025/10/1arXiv:2510.23119

OmniDexGrasp: 基盤モデルと力覚フィードバックによる汎用可能な巧みな把持

OmniDexGrasp: Generalizable Dexterous Grasping via Foundation Model and Force Feedback

基盤モデルで人間の把持画像を生成し、それをロボット動作に変換して力覚適応制御で把持する、多様な指示・タスク・ハンドに汎用可能な巧みな把持フレームワークを提案。

詳しい要約

1. どんなもの？

- OmniDexGrasp は、foundation models と転写・制御戦略を組み合わせ、ユーザープロンプト・多様な dexterous hand・多様な grasping task にわたる汎用性を目指す枠組み - 人間の指示に基づく dexterous grasping/manipulation を対象とする - 3 モジュール構成: foundation model による人間 grasp 画像生成、human-image-to-robot-action transfer、force-aware adaptive grasp strategy - simulation と real robot の両方で検証

2. 先行研究と比べてどこがすごい？

- 既存手法は semantic dexterous grasp dataset の規模が限られ、多様な物体・タスクへの汎化が困難 - foundation models は汎化を高め得るが、抽象的なモデル知識と物理的なロボット実行のギャップから直接的な行動生成は困難 - 本研究は foundation models を transfer/control 戦略と組み合わせ、このギャップに対処する点が特徴 - 具体的な先行研究名や定量比較は要旨からは不明

3. 技術・手法の肝は？

- (i) foundation models で人間の grasp 画像を生成し、user prompt と task の汎用性を高める - (ii) human-image-to-robot-action transfer strategy により、人間のデモを実行可能なロボット行動へ変換し、多様な dexterous embodiment に対応 - (iii) force-aware adaptive grasp strategy により、頑健で安定した grasp 実行を図る - 上記 3 モジュールの統合が肝

4. どうやって有効だと検証した？

- simulation と real robot での実験により有効性を検証 - 多様な user prompts、grasp task、dexterous hands に対して有効であることを確認 - dexterous manipulation tasks への拡張性も結果として示す - 具体的な評価指標・比較手法・被験物体数は要旨からは不明

5. 議論はある？

- foundation models の抽象知識と物理実行のギャップへの対処が動機として挙げられる - 汎化を dataset 規模ではなく foundation models と転写・制御で補う設計 - 限界・失敗事例・計算コスト・実機での安定性の詳細な議論は要旨からは不明 - manipulation への拡張性に言及

6. 次に読むべき論文は？

- foundation models を用いた robotic grasping/manipulation の関連研究 - human demonstration から robot action への transfer 手法 - force feedback を用いた adaptive grasping 手法 - dexterous grasping の dataset/benchmark 関連研究 - 要旨で参照・比較されている個別研究名は不明のため、同分野の定番カテゴリを挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yi-Lin Wei, Zhexi Luo, Yuhao Lin, Mu Lin, Zhizhao Liang, Shuoyu Chen, Wei-Shi Zheng

分類: cs.RO

原文アブストラクト

Enabling robots to dexterously grasp and manipulate objects based on human commands is a promising direction in robotics. However, existing approaches are challenging to generalize across diverse objects or tasks due to the limited scale of semantic dexterous grasp datasets. Foundation models offer a new way to enhance generalization, yet directly leveraging them to generate feasible robotic actions remains challenging due to the gap between abstract model knowledge and physical robot execution. To address these challenges, we propose OmniDexGrasp, a generalizable framework that achieves omni-capabilities in user prompting, dexterous embodiment, and grasping tasks by combining foundation models with the transfer and control strategies. OmniDexGrasp integrates three key modules: (i) foundation models are used to enhance generalization by generating human grasp images supporting omni-capability of user prompt and task; (ii) a human-image-to-robot-action transfer strategy converts human demonstrations into executable robot actions, enabling omni dexterous embodiment; (iii) force-aware adaptive grasp strategy ensures robust and stable grasp execution. Experiments in simulation and on real robots validate the effectiveness of OmniDexGrasp on diverse user prompts, grasp task and dexterous hands, and further results show its extensibility to dexterous manipulation tasks.

arXivで原文を読む →arXiv概要ページ

OmniDexGrasp: 基盤モデルと力覚フィードバックによる汎用可能な巧みな把持

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell