日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

全身制御arXiv:2603.09170

ZeroWBC: 一人称視点の人間データから自然な全身ヒューマノイド動作を学習

ZeroWBC: Learning Natural Whole-Body Humanoid Interaction from Human Egocentric Data

シェア:XThreadsFacebookLINEはてブBluesky

人間の一人称視点動画と全身動作・テキスト注釈から、テレオペレーションなしでヒューマノイドの全身インタラクションを学習するフレームワークを提案し、Unitree G1で多様なシーン適応行動を実現した。

詳しい要約

1. どんなもの?

- 目的: 人間の egocentric 動画から humanoid の whole-body interaction を学習する teleoperation-free な枠組み ZeroWBC を提案。 - 構成: 初期 egocentric 画像と言語指示から VLM が未来の human whole-body motion tokens を生成し、連続 motion に復号して humanoid に retarget。 - 実行: 得られた reference motion と root/key body-part trajectories を general interactive motion tracking policy で実行。 - 対象: static scene における whole-body interaction control。 - 実機: Unitree G1 humanoid robot で多様な scene-aware behaviors を teleoperation なしで実現。

2. 先行研究と比べてどこがすごい?

- 従来: whole-body teleoperation data の高コストが versatile で natural な whole-body interaction control の障壁。 - 本研究: teleoperation-free で human egocentric videos と同期した whole-body motion・text annotations から学習。 - 利点: robot teleoperation demonstrations なしで多様な scene-aware behaviors を実現。 - 意義: human egocentric data から natural humanoid whole-body interaction を学ぶ scalable paradigm を示唆。

3. 技術・手法の肝は?

- 定式化: generation-then-tracking により static scene whole-body interaction control を扱う。 - 生成: fine-tuned Vision-Language Model が初期 egocentric image と言語指示から future human whole-body motion tokens を生成。 - 変換: tokens を連続 motion に復号し humanoid へ retarget。 - 追従: reference motions と root/key body-part trajectories を general interactive motion tracking policy で実行。 - 報酬: interaction-oriented tracking reward で global root と key body-part trajectory alignment を優先しつつ natural whole-body motion を保持。

4. どうやって有効だと検証した?

- 実機: Unitree G1 humanoid robot で実験。 - 結果: teleoperation demonstrations なしで多様な scene-aware behaviors を実現。 - 主張: これにより human egocentric data から natural humanoid whole-body interaction を学ぶ scalable paradigm の可能性を示唆。 - 詳細な評価指標・比較条件は要旨からは不明。

5. 議論はある?

- 主張: teleoperation-free で human egocentric data から natural whole-body interaction を学習可能。 - 意義: scalable paradigm の提案。 - 制約: static scene の whole-body interaction control に限定。 - 限界・失敗例・定量比較・倫理的議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法: Vision-Language Model、motion retargeting、motion tracking policy、interaction-oriented tracking reward。 - 同分野の定番: humanoid whole-body control、teleoperation、imitation learning、egocentric video learning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoran Yang, Jiacheng Bao, Yucheng Xin, Haoming Song, Yuyang Tian, Bin Zhao, Dong Wang, Xuelong Li

分類: cs.RO, cs.AI

原文アブストラクト

Achieving versatile and natural whole-body humanoid interaction control remains challenging due to the high cost of whole-body teleoperation data. We present ZeroWBC, a teleoperation-free framework that learns humanoid whole-body interaction from human egocentric videos paired with synchronized whole-body motion and text annotations. ZeroWBC adopts a generation-then-tracking formulation to tackle the static scene whole-body interaction control problem. Given an initial egocentric image and a language instruction, a fine-tuned Vision-Language Model generates future human whole-body motion tokens, which are decoded into continuous motions and retargeted to the humanoid. The resulting reference motions, together with root and key body-part trajectories, are then executed by a general interactive motion tracking policy. To improve interaction performance, we introduce an interaction-oriented tracking reward that prioritizes global root and key body-part trajectory alignment while preserving natural whole-body motion. Experiments on the Unitree G1 humanoid robot show that ZeroWBC enables diverse scene-aware behaviors without robot teleoperation demonstrations. These results suggest a scalable paradigm for learning natural humanoid whole-body interaction from human egocentric data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI