日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動操作arXiv:2510.11258

DemoHLM: 単一のデモンストレーションから汎化可能なヒューマノイド移動操作へ

DemoHLM: From One Demonstration to Generalizable Humanoid Loco-Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーション上の1回のデモンストレーションから、実機ヒューマノイドの移動を伴う操作タスクを汎化可能に学習する階層型フレームワークを提案し、Unitree G1で10タスクのsim-to-real移行を実証した。

詳しい要約

1. どんなもの?

- 実機ヒューマノイドの loco-manipulation を、シミュレーション上の単一 demonstration から汎化可能に学習するフレームワーク DemoHLM の提案。 - 階層構造を採用し、低レベルに汎用 whole-body controller、高レベルに複数タスク向け manipulation policies を統合。 - Unitree G1 と RGB-D camera を用いた実機実験で sim-to-real 転移を検証。

2. 先行研究と比べてどこがすごい?

- 従来の humanoid whole-body control 研究の進展に対し、loco-manipulation は未開拓で、hard-coded なタスク定義や高コストな実世界データ収集に依存していた。 - DemoHLM は単一 demonstration とシミュレーション内データ生成・imitation learning により、実世界データ収集の負担を回避。 - 閉ループ視覚フィードバックを持つ高レベル policy により、空間変化下での汎化性能を実機で示す点が特徴。

3. 技術・手法の肝は?

- 低レベル universal whole-body controller が whole-body motion commands を joint torques に変換し、omnidirectional mobility を提供。 - 高レベル manipulation policies はシミュレーションで data generation と imitation learning のパイプラインにより学習。 - 高レベル policy は閉ループ視覚フィードバックで whole-body controller に指令を出し、困難な loco-manipulation タスクを実行。

4. どうやって有効だと検証した?

- 合成データ量と policy 性能の間に正の相関を確認し、data generation パイプラインの有効性とデータ効率を示唆。 - RGB-D camera 搭載の Unitree G1 実機で、10 種類の loco-manipulation タスクにおける空間変化下の頑健性を検証し、sim-to-real 転移性を確認。

5. 議論はある?

- 合成データ量と性能の正の相関は示されたが、データ量以外の要因や限界については要旨からは不明。 - 実機検証は 10 タスク・空間変化下に限られ、他の環境やタスクへの一般化については要旨からは不明。 - hard-coded 定義や実世界データ収集からの脱却を主張するが、単一 demonstration の質への依存性は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究は明示されていない。 - 関連手法として、humanoid whole-body control、imitation learning、sim-to-real transfer、visual feedback を用いた loco-manipulation の代表的論文を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhui Fu, Feiyang Xie, Chaoyi Xu, Jing Xiong, Haoqi Yuan, Zongqing Lu

分類: cs.RO, cs.LG

原文アブストラクト

Loco-manipulation is a fundamental challenge for humanoid robots to achieve versatile interactions in human environments. Although recent studies have made significant progress in humanoid whole-body control, loco-manipulation remains underexplored and often relies on hard-coded task definitions or costly real-world data collection, which limits autonomy and generalization. We present DemoHLM, a framework for humanoid loco-manipulation that enables generalizable loco-manipulation on a real humanoid robot from a single demonstration in simulation. DemoHLM adopts a hierarchy that integrates a low-level universal whole-body controller with high-level manipulation policies for multiple tasks. The whole-body controller maps whole-body motion commands to joint torques and provides omnidirectional mobility for the humanoid robot. The manipulation policies, learned in simulation via our data generation and imitation learning pipeline, command the whole-body controller with closed-loop visual feedback to execute challenging loco-manipulation tasks. Experiments show a positive correlation between the amount of synthetic data and policy performance, underscoring the effectiveness of our data generation pipeline and the data efficiency of our approach. Real-world experiments on a Unitree G1 robot equipped with an RGB-D camera validate the sim-to-real transferability of DemoHLM, demonstrating robust performance under spatial variations across ten loco-manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI