日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モーションキャプチャ/データセットarXiv:2611.10994

RoboMoCap: ロボット学習のための一人称視点を備えた大規模全身モーションキャプチャデータセット

RoboMoCap: A Large-Scale Whole-Body Motion Capture Dataset with Egocentric Vision for Robot Learning

シェア:XThreadsFacebookLINEはてブBluesky

14名の参加者から200時間以上を記録し、一人称視点カメラと光学式全身モーションキャプチャを組み合わせた、移動を中心としたヒューマノイド学習向けの大規模マルチモーダルデータセットを構築した。

詳しい要約

1. どんなもの?

- 一人称視点(egocentric vision)と光学式モーションキャプチャを組み合わせた大規模マルチモーダルデータセット - 名称は RoboMoCap - ヒューマノイドロボットの移動(locomotion)中心の学習を目的とする - 規模と構成 - 14名の参加者から200時間以上の記録 - 頭部装着6台のカメラ、手首装着の視覚・慣性センサ、120 Hzの光学式全身モーションキャプチャ - 収録内容 - 多様な locomotion primitives、動的な全身運動、loco-manipulation タスク - 速度可変の歩行、旋回、制約下のナビゲーション、地形走破、物体運搬、移動中の操作 - 時間的に同期したマルチモーダル観測とメートル単位の全身運動表現を提供

2. 先行研究と比べてどこがすごい?

- 既存の egocentric データセットの課題を指摘 - 高忠実度の光学式モーションキャプチャが乏しい - 多様な loco-manipulation 行動の体系的な網羅が不足 - RoboMoCap の差分 - marker-based optical motion capture を一人称視点と組み合わせて大規模化 - 一人称では見えにくい下半身運動や足の接地(foot placement)までカバー - locomotion 中心のヒューマノイド学習向けに設計 - 具体的な先行データセット名や定量的比較は要旨からは不明

3. 技術・手法の肝は?

- データ収集の設計 - 頭部6カメラによる egocentric vision - 手首装着の視覚・慣性センシング - 120 Hz の marker-based optical full-body motion capture - データの特徴 - 時間的に整列したマルチモーダル観測 - メートル単位の全身運動表現(metric whole-body motion representations) - 直接観測できない身体部位の運動も学習可能にする構成 - ベンチマーク設計 - egocentric full-body motion reconstruction - foot contact and placement estimation - human-to-humanoid motion retargeting

4. どうやって有効だと検証した?

- 3つのベンチマークタスクで既存手法を体系的に評価 - egocentric full-body motion reconstruction - foot contact and placement estimation - human-to-humanoid motion retargeting - 評価結果の具体的な数値や比較優位は要旨からは不明 - データセットの多様な locomotion・相互作用シナリオを通じた基盤性を主張

5. 議論はある?

- 一人称視点と高忠実度の人間運動の組み合わせが、egocentric motion understanding と human-to-humanoid learning の基盤になると主張 - 直接観測できない身体領域の運動研究を可能にする点を強調 - 限界・失敗事例・倫理的配慮・データバイアスに関する議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない - 関連手法として次を検討 - egocentric full-body motion reconstruction の既存手法 - foot contact and placement estimation の既存手法 - human-to-humanoid motion retargeting の既存手法 - 既存の egocentric データセット(名称は要旨からは不明) - marker-based optical motion capture を用いた人間運動データセット

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mayur Deshmukh, Aaron Tung, Junyi Li, Nikash Bhardwaj, Ademi Adeniji, Vincent Liu, Michael Cho, Jiafei Duan

分類: cs.RO

原文アブストラクト

Humanoid robots must coordinate locomotion and manipulation to navigate complex environments and perform everyday tasks. Learning such behaviours from human demonstrations requires accurate whole-body motion paired with egocentric vision, particularly for lower-body movements and foot placements that are frequently invisible from a first-person perspective. However, existing egocentric datasets often lack high-fidelity optical motion capture or systematic coverage of diverse loco-manipulation behaviours. To address this gap, we introduce RoboMoCap, a large-scale multimodal dataset combining egocentric vision with marker-based optical motion capture, specifically designed for locomotion-centric humanoid learning. RoboMoCap comprises over 200 hours of recordings from 14 participants, featuring six head-mounted cameras, wrist-mounted visual and inertial sensing, and optical full-body motion capture at 120 Hz. The dataset systematically covers diverse locomotion primitives, dynamic whole-body movements, and loco-manipulation tasks, including variable-speed walking, turning, constrained navigation, terrain traversal, object transportation, and manipulation during locomotion. It provides temporally aligned multimodal observations and metric whole-body motion representations, enabling the study of human movement beyond directly observable body regions. We systematically evaluate existing methods on three benchmark tasks: egocentric full-body motion reconstruction, foot contact and placement estimation, and human-to-humanoid motion retargeting. By pairing egocentric vision with high-fidelity human motion across diverse locomotion and interaction scenarios, RoboMoCap provides a foundation for egocentric motion understanding and humanoid learning from human demonstrations.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI