日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
全身マニピュレーションarXiv:2609.22829

全身UMI：実時間動作生成によるヒューマノイド全身マニピュレーションへのUMIスキル転移

Whole-Body UMI: Transferring UMI Manipulation Skills to Humanoid Whole-Body Manipulation via Real-Time Motion Generation

シェア:XThreadsFacebookLINEはてブBluesky

UMIの手先軌道データからヒューマノイドの全身協調動作を実時間生成し、拡散方策と組み合わせて4タスクで全身マニピュレーションを実現した。

詳しい要約

1. どんなもの？

- ヒューマノイドの全身マニピュレーションのためのデモ収集はteleoperationに依存し高コストでスケールしにくい。 - Universal Manipulation Interface (UMI) はスケーラブルなデータ収集を可能にするが、end-effector軌道だけでは全身協調が不十分。 - そこでWhole-Body UMI (WB-UMI) を提案。 - タスク非依存・リアルタイム・end-effector条件付きのmotion generator。 - 共有end-effector interfaceで全身協調学習とタスク意味学習を分離。

2. 先行研究と比べてどこがすごい？

- 従来の全身デモ収集はteleoperation中心で高コスト・スケール困難。 - UMIはスケーラブルだがend-effector軌道のみで全身協調を決定できない。 - WB-UMIはタスク特化データ収集時にbody trackersやpaired image-whole-body demonstrationsを不要にする。 - これによりnative UMIデモをヒューマノイド全身マニピュレーションへ転移可能にした点が新しい。

3. 技術・手法の肝は？

- 共有end-effector interfaceを介して全身協調学習とタスク意味学習を分離。 - diffusion policyがnative UMI demonstrationsから学習。 - WB-UMIはretargeted motion captureから独立に学習。 - 実展開では非同期hierarchyがdiffusion policy、motion generator、whole-body controllerを統合。 - latency compensationとmeasured-state feedbackを備える。

4. どうやって有効だと検証した？

- 実機G1でのreal-robot experiments。 - 4タスクでリアルタイムclosed-loop transferを検証。 - 成功率: drawer closing 90%、shelf pick-and-place 80%、ball toss 30%、Loco-PnP 40%。 - このhierarchyがnative UMI skillsをヒューマノイド全身マニピュレーションへ転移する有効性を示す。

5. 議論はある？

- 要旨からは、限界や失敗要因、議論の詳細は不明。 - 成功率がタスク間で大きく異なる点（ball toss 30%、Loco-PnP 40%）は示されているが、その原因分析は要旨からは不明。 - 一般化可能性やスケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は？

- Universal Manipulation Interface (UMI) - diffusion policy - retargeted motion capture - whole-body controller - 関連するhumanoid whole-body manipulationの研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxuan Nai, Leixin Chang, Liangjing Yang, Shuo Yang, Zhongyu Li

分類: cs.RO

原文アブストラクト

Collecting whole-body demonstrations for humanoid manipulation mostly relies on teleoperation, which is costly and hard to scale up. The Universal Manipulation Interface (UMI) provides a scalable data collection paradigm, but end-effector trajectories alone underdetermine humanoid whole-body coordination, which is insufficient for whole-body demonstration collection. Therefore, we introduce Whole-Body UMI (WB-UMI), a task-agnostic, real-time and end-effector conditioned motion generator that decouples whole-body coordination learning from task semantics learning through a shared end-effector interface. A diffusion policy learns from native UMI demonstrations, while WB-UMI learns independently from retargeted motion capture, requiring no body trackers or paired image--whole-body demonstrations during task-specific data collection. In real deployment, an asynchronous hierarchy integrates the diffusion policy, motion generator, and a whole-body controller with latency compensation and measured-state feedback. Real-robot experiments on G1 support real-time closed-loop transfer across four tasks, achieving 90% success in drawer closing, 80% in shelf pick-and-place, 30% in ball toss, and 40% in Loco-PnP, which shows the effectiveness of this hierarchy in transferring native UMI skills to humanoid whole-body manipulation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →