日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データ収集/全身操作arXiv:2605.03452

BifrostUMI: ロボット不要のデモから人型全身操作への橋渡し

BifrostUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

軽量VRデバイスとUMI風グリッパーを用いてロボットを使わずに人型ロボットの全身動作データを収集し、高次ポリシーで全身スキル学習を実現するフレームワークを提案。実世界5シナリオで有効性を検証した。

詳しい要約

1. どんなもの?

- 人型ロボットの全身行動(知覚・移動・操作の協調)を学習するための、ロボット不要のデータ収集フレームワーク「BifrostUMI」を提案。 - 軽量VRデバイスとUMIに着想を得たグリッパーを用い、人間の疎なキーポイント軌道、手首視点観測、グリッパー行動を収集。 - 収集したデモンストレーションで高レベル方策を訓練し、将来のキーポイントを予測。それをロボット固有の全身参照にリターゲティングし、全身コントローラで実行。 - 5つの実世界シナリオで有効性を検証し、転移可能な全身スキル学習のためのデモンストレーションとしての有用性を確認。

2. 先行研究と比べてどこがすごい?

- 既存のデータ収集法はロボットテレオペレーションに依存し、ハードウェアの入手性、操作者の熟練度、効率の制約があった。 - BifrostUMIはロボット不要でポータブルな枠組みを提供し、これらの制約を回避。 - UMIに着想を得て、軽量VRデバイスとグリッパーで人間のデモを収集し、人型ロボットの全身行動学習に転移可能とした点が新しい。

3. 技術・手法の肝は?

- 軽量VRデバイスとUMIに着想を得たグリッパーを使用し、人間の疎なキーポイント軌道、手首視点観測、グリッパー行動を収集。 - 収集したデモで高レベル方策を訓練し、将来のキーポイントを予測。 - 予測されたキーポイントをロボット固有の全身参照にリターゲティングし、全身コントローラで実行する。

4. どうやって有効だと検証した?

- 5つの実世界シナリオで実験を行い、提案フレームワークの有効性を実証。 - 収集したデモンストレーションが転移可能な人型ロボット全身スキル学習に有効であることを検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Universal Manipulation Interface (UMI) が着想元として参照されている。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongwu Wang, Chenhao Yu, Youhao Hu, Jiachen Zhang, Yuanyuan Li, Shaqi Luo

分類: cs.RO

原文アブストラクト

High-quality demonstration data are essential for humanoid robot skill learning, especially for whole-body behaviors that require coordinated perception, locomotion, and manipulation. Existing data-collection methods largely rely on robot teleoperation, which is constrained by hardware accessibility, operator expertise, and limited efficiency. Inspired by the Universal Manipulation Interface (UMI), we propose BifrostUMI, a portable and robot-free framework for humanoid whole-body data collection. BifrostUMI uses lightweight VR devices and UMI-inspired grippers to collect sparse human keypoint trajectories, wrist-view observations, and gripper actions. These demonstrations train a high-level policy to predict future keypoints, which are retargeted to robot-native whole-body references and executed by a whole-body controller. Experiments in five real-world scenarios demonstrate the effectiveness of the proposed framework and validate the collected demonstrations for transferable humanoid whole-body skill learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI