日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動操作arXiv:2606.18772

HALOMI: 人間のデモから能動的知覚を伴うヒューマノイドの移動操作を学習する

HALOMI: Learning Humanoid Loco-Manipulation with Active Perception from Human Demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモデータからヒューマノイドの移動操作を学習するためのスケーラブルなフレームワークを提案し、能動的知覚とロバストな追従制御を実現した。

詳しい要約

1. どんなもの?

HALOMIは、人間のデモンストレーションからhumanoidのloco-manipulationを学習するスケーラブルなフレームワーク。 - 目的: 人間のデモをhumanoidに転移し、active perceptionを伴う全身操作を実現。 - 特徴: Universal Manipulation Interface (UMI)をegocentric sensingに拡張し、ego-viewとwrist-viewの観測、head-hand軌道を大規模収集。 - 対象: Unitree G1 humanoid robot(actuated neck付き)で評価。 - タスク: navigation, grasping, bimanual manipulation, whole-body coordination, dynamic behaviorsの5実世界タスク。

2. 先行研究と比べてどこがすごい?

先行研究と比べての優位性は以下の通り。 - 従来のhuman-to-humanoid転移では、正確なworld-frame tracking controllerが必要で、Out-of-Distribution(OOD)目標に対して脆い問題があった。 - HALOMIはmanifold-constrained controllerを提案し、学習されたlatent behavior manifold内で計画することで、world frameでの正確かつロバストなhead-hand trackingを可能にした。 - また、ego-view alignmentとcontroller-aware reference trajectory adaptationにより、人間とhumanoidの間の観測と行動実行のギャップを低減。 - これにより、OOD目標に対する脆弱性を克服し、スケーラブルな学習を実現。

3. 技術・手法の肝は?

技術や手法の肝は以下の通り。 - Universal Manipulation Interface (UMI)をegocentric sensingに拡張し、ego-viewとwrist-viewの観測、head-hand軌道を大規模収集。 - manifold-constrained controller: 学習されたlatent behavior manifold内で計画を行い、world frameでの正確でロバストなhead-hand trackingを実現。 - ego-view alignment: 人間とhumanoidのegocentric観測のミスマッチを低減。 - controller-aware reference trajectory adaptation: 行動実行のミスマッチを低減するため、参照軌道を適応。

4. どうやって有効だと検証した?

有効性の検証は以下の通り。 - Unitree G1 humanoid robot(actuated neck付き)を用いて、5つの実世界タスクで検証。 - タスク: navigation, grasping, bimanual manipulation, whole-body coordination, dynamic behaviors。 - 定量的に評価した3タスクで、平均成功率85%を達成。 - 追加の定性的デモンストレーションで、dynamic tossingとdeep-squat graspingの能力を示した。

5. 議論はある?

議論点は以下の通り。 - 人間のデモンストレーションはスケール収集可能で、active hand-eye coordinationを自然に捉えるが、humanoidへの直接転移には正確なworld-frame tracking controllerが必要で、OOD目標に対して脆い。 - また、egocentric observationとaction executionの両方でhuman-to-humanoidギャップが存在。 - HALOMIはこれらの課題に対処するが、限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

次に読むべき論文は以下の通り。 - Universal Manipulation Interface (UMI): HALOMIが拡張した基盤手法。 - 人間のデモンストレーションからのロボット学習に関する研究(例: Learning from Demonstration, Imitation Learning)。 - humanoid loco-manipulationに関する研究(例: whole-body control, active perception)。 - manifold learningやlatent behavior manifoldを用いた制御に関する研究。 - ただし、要旨で具体的に参照/比較されている研究はUMI以外に明示されていないため、同分野の定番としてこれらを挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zehui Zhao, Yuxuan Zhao, Gaojing Zhang, Chenxi Liu, Maolin Zheng, Wenzhao Lian

分類: cs.RO

原文アブストラクト

Human demonstrations, which can be collected at scale and naturally capture active hand-eye coordination, are a promising data source for learning humanoid loco-manipulation. However, directly transferring human demonstrations to humanoids requires a precise world-frame tracking controller, which is often brittle under Out-of-Distribution(OOD) targets, while human-to-humanoid gaps persist in both egocentric observation and action execution. To address these challenges, we present HALOMI, a scalable framework for learning humanoid loco-manipulation with active perception from human demonstrations. HALOMI extends Universal Manipulation Interface (UMI) with egocentric sensing to collect ego-view and wrist-view observations along with head-hand trajectories at scale. We further propose a manifold-constrained controller that plans in a learned latent behavior manifold to enable precise and robust head-hand tracking in the world frame. To bridge the human-to-humanoid gap, we perform ego-view alignment and introduce a controller-aware reference trajectory adaptation to reduce mismatch in both observation and action execution. We validate HALOMI on a Unitree G1 humanoid robot with an actuated neck across five real-world tasks involving navigation, grasping, bimanual manipulation, whole-body coordination, and dynamic behaviors. Across the three quantitatively evaluated tasks, HALOMI achieves an average success rate of 85\%, while additional qualitative demonstrations show its ability to support dynamic tossing and deep-squat grasping.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI