日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2601.05243

単一の人間デモンストレーションから機能的巧み把持を学習するGenerate, Transfer, Adaptフレームワーク

Generate, Transfer, Adapt: Learning Functional Dexterous Grasping from a Single Human Demonstration

シェア:XThreadsFacebookLINEはてブBluesky

単一の人間のデモンストレーションから合成データを生成し、カテゴリ内の多様な物体に把持を転移・適応させて、機能的巧み把持を学習するCorDexを提案。

詳しい要約

1. どんなもの?

- 器用なロボットハンドによる機能的把持を、単一の人間デモンストレーションから学習するフレームワーク CorDex を提案。 - 合成データ生成エンジンとマルチモーダル予測ネットワークから構成。 - 新規物体の機能的把持を頑健に学習することを目指す。

2. 先行研究と比べてどこがすごい?

- 大規模データセットの不足と、意味的・幾何学的推論の統合欠如という2つのボトルネックを解決。 - 単一の人間デモから多様な訓練データを合成し、未見物体への汎化を実現。 - 既存の state-of-the-art ベースラインを大幅に上回る性能を示す。

3. 技術・手法の肝は?

- correspondence-based data engine により、単一デモから同カテゴリの多様な物体インスタンスを生成。 - correspondence estimation で専門家の把持を生成物体に転移し、最適化で把持を適応。 - 視覚と幾何情報を統合するマルチモーダル予測ネットワークを導入。 - local-global fusion module と importance-aware sampling mechanism で頑健かつ計算効率の良い予測を実現。

4. どうやって有効だと検証した?

- 様々な物体カテゴリにわたる広範な実験を実施。 - 未見の物体インスタンスへの汎化性能を評価。 - state-of-the-art ベースラインと比較し、有意な性能向上を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明記されていない。 - 同分野の関連手法として、functional grasping、dexterous manipulation、correspondence-based transfer、multimodal learning の定番研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xingyi He, Adhitya Polavaram, Yunhao Cao, Om Deshmukh, Tianrui Wang, Xiaowei Zhou, Kuan Fang

分類: cs.RO, cs.CV

原文アブストラクト

Functional grasping with dexterous robotic hands is a key capability for enabling tool use and complex manipulation, yet progress has been constrained by two persistent bottlenecks: the scarcity of large-scale datasets and the absence of integrated semantic and geometric reasoning in learned models. In this work, we present CorDex, a framework that robustly learns dexterous functional grasps of novel objects from synthetic data generated from just a single human demonstration. At the core of our approach is a correspondence-based data engine that generates diverse, high-quality training data in simulation. Based on the human demonstration, our data engine generates diverse object instances of the same category, transfers the expert grasp to the generated objects through correspondence estimation, and adapts the grasp through optimization. Building on the generated data, we introduce a multimodal prediction network that integrates visual and geometric information. By devising a local-global fusion module and an importance-aware sampling mechanism, we enable robust and computationally efficient prediction of functional dexterous grasps. Through extensive experiments across various object categories, we demonstrate that CorDex generalizes well to unseen object instances and significantly outperforms state-of-the-art baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI