日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動操作arXiv:2605.20373

SUGAR: 人間ビデオ駆動のスケーラブルな汎用ヒューマノイド移動操作学習フレームワーク

SUGAR: A Scalable Human-Video-Driven Generalizable Humanoid Loco-Manipulation Learning Framework

シェア:XThreadsFacebookLINEはてブBluesky

人間のビデオから不完全な動作プリエントを抽出し、物理ベースのリファイナーで修正してから、階層的な自律ポリシーに蒸留することで、タスク固有の報酬設計やテレオペレーションなしにヒューマノイドの移動操作スキルを学習するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 人型ロボットの全身 loco-manipulation を実世界で汎化可能に学習する枠組み SUGAR を提案。 - 多様な human videos を、タスク固有の reward engineering や推論時の reference-motion conditioning なしに、展開可能なスキルへ変換。 - 3段階: (1) 非構造 human videos から kinematic interaction priors(human-object motion trajectories と contact labels)を自動抽出、(2) privileged physics-based refiner が unified mimic reward と progressive state pool で物理的に実現可能な高忠実スキルへ変換、(3) 階層型自律 policy(command generator と command tracker)へ distill。 - simulation と real-world humanoid hardware の6タスクで評価。

2. 先行研究と比べてどこがすごい?

- 既存手法は laborious task-specific reward engineering、汎化しない reference motion の再生、scalability を制限する costly teleoperation に依存。 - human videos から推定した motion priors は occlusion、contact artifacts、retargeting errors を含み直接 policy learning に不適。 - SUGAR は task-specific reward engineering と推論時の reference-motion conditioning を不要にし、human video データ量に応じて性能がスケール。 - reference-tracking baselines を大幅に上回り、zero-shot real-world transfer を達成。

3. 技術・手法の肝は?

- 第1段階: 完全自動 pipeline で非構造 human videos から human-object motion trajectories と contact labels を含む kinematic interaction priors を抽出。 - 第2段階: privileged physics-based refiner が unified mimic reward と progressive state pool を用い、不完全な priors を物理的に feasible で高忠実な skills へ変換。 - 第3段階: refined skills を command generator と command tracker からなる階層型自律 policy へ distill。 - 推論時に reference-motion conditioning を必要としない。

4. どうやって有効だと検証した?

- simulation と real-world humanoid hardware で6つの代表的な loco-manipulation タスクを評価。 - reference-tracking baselines を大幅に上回る。 - human video データ量に応じて性能が明確にスケール。 - zero-shot real-world transfer、信頼性の高い closed-loop execution、autonomous failure recovery、外部外乱下での安定した long-horizon performance を達成。

5. 議論はある?

- human videos から推定される motion priors は occlusion、contact artifacts、retargeting errors により本質的に不完全で、直接 policy learning に不適という課題を指摘。 - これに対し privileged physics-based refiner で物理的に feasible な skills へ変換する必要性を議論。 - 具体的な限界や失敗事例、計算コストなどの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている reference-tracking baselines、teleoperation ベース手法、task-specific reward engineering 手法。 - human video からの motion prior 抽出・retargeting 関連研究。 - 同分野の定番として humanoid loco-manipulation、whole-body control、imitation learning、sim-to-real transfer に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianshu Wu, Xiangqi Kong, Yue Chen, Qize Yu, Hang Ye, Jia Li, Yizhou Wang, Hao Dong

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Building humanoid robots capable of generalizable whole-body loco-manipulation in the real world remains a fundamental challenge. Existing methods either rely on laborious task-specific reward engineering, rigidly replay reference motions that fail to generalize, or depend on costly teleoperation that limits scalability. While human videos capture diverse human behaviors, motion priors inferred from them are inherently imperfect, suffering from occlusion, contact artifacts, and retargeting errors that render them unsuitable for direct policy learning. To address this, we present SUGAR, a scalable data-driven framework that converts diverse human videos into deployable humanoid loco-manipulation skills, without any task-specific reward engineering or reference-motion conditioning at inference. SUGAR proceeds in three stages. First, a fully automated pipeline extracts kinematic interaction priors including human-object motion trajectories and contact labels from unstructured human videos. Second, a privileged physics-based refiner uses a unified mimic reward and progressive state pool to transform imperfect priors into physically feasible, high-fidelity skills. Third, refined skills are distilled into a hierarchical autonomous policy consisting of a command generator and a command tracker. We evaluate SUGAR on six representative loco-manipulation tasks in simulation and real-world humanoid hardware. Our method substantially outperforms reference-tracking baselines, and performance scales clearly with the amount of human video data. It also achieves zero-shot real-world transfer with reliable closed-loop execution, autonomous failure recovery, and stable long-horizon performance under external perturbations. Project Page: https://tianshuwu.github.io/sugar-humanoid/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI