日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2609.28660

形態模倣:形態と接触を考慮したハンドリターゲティングからSim-to-Real視覚運動ポリシーへ

Morphometric Imitation: From Morphology and Contact Aware Hand Retargeting to Sim-to-Real Visuomotor Policy

シェア:XThreadsFacebookLINEはてブBluesky

人間の手と物体の相互作用を、形態最適化・残差強化学習・視覚運動ポリシー蒸留の3段階でロボットハンドに転移し、ゼロショットで実世界に展開するフレームワークを提案。

詳しい要約

1. どんなもの?

- 人間の手と物体の相互作用(HOI)の再構成データを、ゼロショットで sim-to-real 可能な視覚運動ポリシーに変換する三段階フレームワーク「Morphometric Imitation」を提案。 - 第一段階の morphometric optimization (MMO) で人間の運動を異なる手の形態にキネマティックにリターゲティングし、接触を保持。 - 第二段階の residual reinforcement learning (RL) で物体姿勢と接触情報を用いて動的に実行可能なロボット実演を生成。 - 第三段階でそれらを視覚運動ポリシーに蒸留。 - 3種類のロボットハンドと10種類の HOI で評価。

2. 先行研究と比べてどこがすごい?

- 従来の人間 HOI からの学習は、形態ギャップ、動的実現可能性、sim-to-real 展開が課題。 - MMO は5つのベースライン中最強のものに対し、全ハンドで contact F1 を少なくとも8ポイント改善。 - 下流の動的リターゲティングの成功率も最大35ポイント向上。 - 視覚運動ポリシーは30物体・300実世界試行で89.3%のゼロショット成功率を達成。

3. 技術・手法の肝は?

- 三段階構成:MMO → residual RL → 視覚運動ポリシー蒸留。 - MMO は人間運動を手形態間でキネマティックにリターゲティングし、実演された接触を保持。 - residual RL は人間運動からの物体姿勢と接触情報を利用してキネマティック参照を洗練し、動的に実現可能なロボット実演を生成。 - 蒸留により視覚運動ポリシーを獲得。

4. どうやって有効だと検証した?

- 3種類のロボットハンドと10種類の HOI で MMO を評価し、5つのベースライン中最強のものより contact F1 が全ハンドで少なくとも8ポイント改善。 - 下流の動的リターゲティング成功率が最大35ポイント向上。 - residual RL のアブレーションで物体姿勢と接触情報の相補的利点を確認。 - 視覚運動ポリシーは30物体・300実世界試行で89.3%のゼロショット成功率。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法として、human hand-object interactions (HOIs) からの学習、morphometric optimization (MMO)、residual reinforcement learning (RL)、sim-to-real visuomotor policy、contact F1 などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tara Sadjadpour, Siming He, C. K. Wolfe, Haozhi Qi, Lea Wilken, S. Shankar Sastry, Claire Tomlin, Jitendra Malik

分類: cs.RO

原文アブストラクト

Human hand-object interactions (HOIs) provide a rich source of demonstrations for dexterous manipulation, but learning directly from them presents challenges in bridging morphology gaps, ensuring dynamical feasibility, and sim-to-real deployment. We present Morphometric Imitation, a three-stage framework that transforms reconstructed HOIs into zero-shot sim-to-real visuomotor policies. First, morphometric optimization (MMO) kinematically retargets human motion across hand morphologies while preserving demonstrated contacts. Second, residual reinforcement learning (RL) refines the kinematic reference using object pose and contact information from the human motion to produce dynamically feasible robot demonstrations. Third, these demonstrations are distilled into visuomotor policies. Across three robot hands and ten HOIs, MMO improves contact F1 over the strongest of five baselines by at least 8 points for every hand, while also improving the success rate of downstream dynamic retargeting by as much as 35 points. Ablations on the residual RL show complementary benefits from using object pose and contact information. Finally, the visuomotor policies achieve 89.3% zero-shot success in 300 real-world trials on 30 objects. Project page: $\href{https://morphometricimitation.github.io}{\text{this https URL}}$

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI