日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

器用操作arXiv:2607.00033

人間のデモから接触力ガイダンスを用いた器用操作の学習

Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモから物体に加わる力・トルク空間でガイダンスを作り、強化学習で長期的な器用操作を学習するフレームワークCHORDを提案。大規模ベンチマークで高い成功率を示し、実世界にも転移可能。

詳しい要約

1. どんなもの?

本論文は、人間のデモンストレーションから器用なロボット操作(dexterous manipulation)を学習するためのフレームワークCHORD(Contact Wrench Guidance from Human Demonstration)を提案する。CHORDは、物体中心の接触力・トルク空間(contact wrench space)におけるガイダンスを用いて、人間とロボットの動作を物体に誘起される力とトルクで表現し、その類似性に基づいて強化学習(reinforcement learning)を効率的に導く。さらに、モーションキャプチャデータと再構成されたビデオから構築した4,739の両手操作タスクを含む大規模シミュレーションベンチマークを導入し、1,831タスクで平均成功率82.12%を達成する。また、手のみのデモや三人称視点のデモから全身操作への一般化も示し、実世界への転移も行う。

2. 先行研究と比べてどこがすごい?

先行研究では、人間のデモンストレーションをロボットポリシーに転移することは困難であり、特に接触を伴う器用な操作では、デモとロボットの運動学的差異や接触状態の違いが課題となっていた。CHORDの革新性は、物体中心の接触力・トルク空間で動作を表現することで、人間とロボットの形態的差異を抽象化し、誘起される瞬間的な運動の類似性に基づいてガイダンスを提供する点にある。これにより、接触リッチな操作における強化学習のスケーラビリティを向上させ、大規模なタスクセットで高い成功率を達成している。また、手のみのデモから全身操作への一般化や、三人称視点のデモへの対応も先行研究と比べて進んでいる。

3. 技術・手法の肝は?

CHORDの核心は、物体中心の接触力・トルク空間(contact wrench space)におけるガイダンスである。具体的には、人間とロボットの動作を、物体に誘起される力とトルク(wrench)に変換し、その時系列の類似性を測ることで、強化学習の報酬や探索方向を導く。この表現により、ロボットの運動学的構造やデモの視点に依存しない共通の指標が得られる。さらに、大規模なベンチマークを構築するために、モーションキャプチャデータと再構成されたビデオからタスクを生成し、多様な物体操作タスクをカバーする。強化学習アルゴリズムは、このガイダンスを利用してポリシーを学習する。

4. どうやって有効だと検証した?

有効性の検証は、構築したベンチマークのうち1,831タスクで評価を行い、平均成功率82.12%を達成した。また、手のみのデモと三人称視点のデモから全身操作への一般化実験では90.77%の成功率を達成した。さらに、学習したポリシーを実世界のロボットに転移し、オープンループとクローズドループの両方の設定で成功することを示した。

5. 議論はある?

要旨からは、CHORDの限界や議論についての詳細は不明である。ただし、接触力・トルク空間での表現がすべてのタスクに有効かどうか、デモの質や多様性の影響、実世界転移におけるシミュレーションと実機のギャップ(sim-to-real gap)などが潜在的な議論点として考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

要旨で参照されている研究や関連手法としては、人間のデモンストレーションからのロボット学習(learning from demonstration)、強化学習、接触リッチな操作(contact-rich manipulation)、モーションキャプチャデータセットなどが挙げられる。具体的な論文名は不明だが、同分野の定番として、Dexterous Manipulationのための強化学習手法や、人間デモを利用した模倣学習(imitation learning)の研究が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinghao Zhu, Zixi Liu, Shalin Jain, Chenran Li, Milad Noori, Huihua Zhao, John Welsh, Michael Andres Lin, Wei Liu, Tingwu Wang, Xingye Da, Zhengyi Luo, Vishal Kulkarni, Naema Bhatti, Yuke Zhu, Linxi Fan, Bowen Wen, Danfei Xu, Soha Pouya, Yan Chang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Dexterous robot manipulation can benefit from the abundance of human demonstrations, but transferring such demonstrations to robot policies remains challenging. We present Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation (CHORD), a framework for long-horizon manipulation of rigid and articulated objects with reinforcement learning. The key idea is object-centric contact wrench space guidance: we represent human and robot motions by the forces and torques they can induce on the object, enabling similarity to be measured by the induced instantaneous motions. This guidance makes reinforcement learning more scalable for contact-rich dexterous manipulation. We further introduce a large-scale simulation benchmark with 4,739 bimanual dexterous manipulation tasks, constructed from motion-capture datasets and reconstructed in-house videos. Evaluated on 1,831 benchmark tasks, CHORD achieves an average success rate of 82.12%, demonstrating strong scalability. CHORD also generalizes to whole-body manipulation from hand-only and third-person demonstrations, achieving a 90.77% success rate, and the learned policies transfer to the real world in both open-loop and closed-loop settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI