日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2507.23523

H-RDT: 人間の操作データで強化した両腕ロボットマニピュレーション

H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

大規模な一人称視点の人間操作動画と3D手姿勢を事前学習に活用し、拡散トランスフォーマーとフローマッチングでロボットの両腕操作ポリシーを学習する手法を提案。シミュレーションと実機で既存手法を上回る性能を示した。

詳しい要約

1. どんなもの?

- 両腕ロボット操作のための新手法 H-RDT (Human to Robotics Diffusion Transformer) - 人間の操作データを活用してロボット操作能力を高めるアプローチ - 2B パラメータの diffusion transformer を基盤とし flow matching で行動分布をモデル化 - 課題認識 - ロボット実演データは大規模・高品質なものが乏しい - 既存のロボティック基盤モデルは cross-embodiment データで事前学習するが、形態や action space の多様性で統一学習が難しい

2. 先行研究と比べてどこがすごい?

- 既存の cross-embodiment ロボットデータ事前学習に対し、人間の egocentric 操作データを事前学習源に用いる点が特徴 - 人間データには 3D hand pose 注釈が付与され、自然な操作戦略の behavioral prior を捉えられる - 比較対象として Pi0 や RDT などの state-of-the-art 手法、および training from scratch を挙げている - 結果として simulation で 13.9%、real-world で 40.5% の改善を training from scratch 比で報告

3. 技術・手法の肝は?

- 2 段階の学習パラダイム - 第1段階: 大規模 egocentric 人間操作データで pre-training - 第2段階: ロボット固有データで cross-embodiment fine-tuning - モジュール式の action encoder / decoder を導入し、embodiment 間の差異に対応 - アーキテクチャは 2B パラメータの diffusion transformer - flow matching を用いて複雑な action distribution をモデル化

4. どうやって有効だと検証した?

- simulation と real-world の両方で評価 - single-task と multitask の両シナリオを検証 - few-shot learning と robustness 評価も実施 - training from scratch および Pi0、RDT などの既存 SOTA と比較 - training from scratch 比で simulation 13.9%、real-world 40.5% の改善を確認

5. 議論はある?

- 中心仮説『人間操作データが両腕ロボット操作ポリシー学習の強力な基盤になる』を結果が支持 - 限界や失敗事例、計算コスト、データ依存性などの詳細な議論は要旨からは不明 - 2B パラメータ規模や flow matching 採用の妥当性に関する考察も要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として明示されている Pi0 - 同じく比較対象の RDT - 関連する基盤として diffusion transformer 系のロボティック基盤モデル - cross-embodiment 学習や egocentric 人間データを用いた imitation learning の関連研究(個別論文名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongzhe Bi, Lingxuan Wu, Tianwei Lin, Hengkai Tan, Zhizhong Su, Hang Su, Jun Zhu

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Imitation learning for robotic manipulation faces a fundamental challenge: the scarcity of large-scale, high-quality robot demonstration data. Recent robotic foundation models often pre-train on cross-embodiment robot datasets to increase data scale, while they face significant limitations as the diverse morphologies and action spaces across different robot embodiments make unified training challenging. In this paper, we present H-RDT (Human to Robotics Diffusion Transformer), a novel approach that leverages human manipulation data to enhance robot manipulation capabilities. Our key insight is that large-scale egocentric human manipulation videos with paired 3D hand pose annotations provide rich behavioral priors that capture natural manipulation strategies and can benefit robotic policy learning. We introduce a two-stage training paradigm: (1) pre-training on large-scale egocentric human manipulation data, and (2) cross-embodiment fine-tuning on robot-specific data with modular action encoders and decoders. Built on a diffusion transformer architecture with 2B parameters, H-RDT uses flow matching to model complex action distributions. Extensive evaluations encompassing both simulation and real-world experiments, single-task and multitask scenarios, as well as few-shot learning and robustness assessments, demonstrate that H-RDT outperforms training from scratch and existing state-of-the-art methods, including Pi0 and RDT, achieving significant improvements of 13.9% and 40.5% over training from scratch in simulation and real-world experiments, respectively. The results validate our core hypothesis that human manipulation data can serve as a powerful foundation for learning bimanual robotic manipulation policies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI