マニピュレーション2025/8/1arXiv:2508.20085

HERMES: 多源运动データからの人間→ロボット身体化学習による移動型巧みなマニピュレーション

HERMES: Human-to-Robot Embodied Learning from Multi-Source Motion Data for Mobile Dexterous Manipulation

複数の人間の手の動きデータを強化学習で統合し、移動型双腕多指ハンドロボットの器用な操作を実現するフレームワークを提案。深度画像ベースのsim2real転移とPnP位置推定による自律ナビゲーションを組み合わせ、実環境での汎化性能を向上させた。

詳しい要約

1. どんなもの？

- 人間の手の動作データをロボットの器用な操作スキルへ転写する枠組み - 対象は移動を伴う両腕の dexterous manipulation - 複数来源の人間手動作を統一的な強化学習で扱う - 名称は HERMES（Human-to-Robot Embodied Learning from Multi-Source Motion Data） - 実世界の多様な状況で汎化する方策の獲得を狙う - 多指 dexterous hand の高次元行動空間が課題 - 屋外・非構造環境での自律動作も対象

2. 先行研究と比べてどこがすごい？

- 従来の人間動作からのロボット学習に対し、複数来源の異種手動作を単一の強化学習で統合 - 多指 dexterous hand の高次元行動空間への変換を扱う点が特徴 - 既存手法が苦手とする多様な環境条件への適応を狙う - sim2real gap 対策として depth image ベースの end-to-end 転写を導入 - ナビゲーション基盤モデルに closed-loop PnP 位置合わせを追加し、自律移動と器用操作を接続 - 具体的な先行研究名や定量比較は要旨からは不明

3. 技術・手法の肝は？

- 複数来源の heterogeneous な人間手動作を、物理的に妥当なロボット行動へ変換する統一強化学習 - sim2real gap 緩和のため、depth image を入力とする end-to-end の sim2real transfer を設計 - ナビゲーション foundation model を拡張し、closed-loop Perspective-n-Point (PnP) localization を組み込む - PnP により視覚ゴールの位置合わせ精度を高め、自律ナビゲーションと dexterous manipulation を橋渡し - 移動両腕マニピュレーション向けの human-to-robot learning framework として構成

4. どうやって有効だと検証した？

- 広範な実験を実施し、多様な in-the-wild シナリオで汎化挙動を一貫して示したと報告 - 多数の複雑な mobile bimanual dexterous manipulation タスクを成功裏に遂行 - 具体的なタスク数、成功率、比較ベースライン、実機/シミュレーションの内訳は要旨からは不明 - プロジェクトページが公開されている

5. 議論はある？

- 複数来源の人間動作を統一強化学習で扱う有効性と、実環境への汎化が主な論点 - depth image ベース sim2real transfer の寄与や限界に関する詳細は要旨からは不明 - closed-loop PnP localization がナビゲーションと操作の接続に与える影響の定量評価は要旨からは不明 - 失敗事例、安全性、計算コスト、データ依存性についての議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で明示的に参照・比較された個別研究は無い - 関連手法として、人間動作からのロボット学習（human-to-robot imitation / motion retargeting） - dexterous hand 向け強化学習（dexterous manipulation with reinforcement learning） - sim2real transfer（depth image ベースの転写を含む） - ナビゲーション foundation model と Perspective-n-Point (PnP) に基づく視覚位置合わせ - mobile bimanual manipulation の研究を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhecheng Yuan, Tianming Wei, Langzhe Gu, Pu Hua, Tianhai Liang, Yuanpei Chen, Huazhe Xu

分類: cs.RO

原文アブストラクト

Leveraging human motion data to impart robots with versatile manipulation skills has emerged as a promising paradigm in robotic manipulation. Nevertheless, translating multi-source human hand motions into feasible robot behaviors remains challenging, particularly for robots equipped with multi-fingered dexterous hands characterized by complex, high-dimensional action spaces. Moreover, existing approaches often struggle to produce policies capable of adapting to diverse environmental conditions. In this paper, we introduce HERMES, a human-to-robot learning framework for mobile bimanual dexterous manipulation. First, HERMES formulates a unified reinforcement learning approach capable of seamlessly transforming heterogeneous human hand motions from multiple sources into physically plausible robotic behaviors. Subsequently, to mitigate the sim2real gap, we devise an end-to-end, depth image-based sim2real transfer method for improved generalization to real-world scenarios. Furthermore, to enable autonomous operation in varied and unstructured environments, we augment the navigation foundation model with a closed-loop Perspective-n-Point (PnP) localization mechanism, ensuring precise alignment of visual goals and effectively bridging autonomous navigation and dexterous manipulation. Extensive experimental results demonstrate that HERMES consistently exhibits generalizable behaviors across diverse, in-the-wild scenarios, successfully performing numerous complex mobile bimanual dexterous manipulation tasks. Project Page:https://gemcollector.github.io/HERMES/.

arXivで原文を読む →arXiv概要ページ

HERMES: 多源运动データからの人間→ロボット身体化学習による移動型巧みなマニピュレーション

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell