模倣学習/XR2025/9/1arXiv:2509.22914

ARMimic: 拡張現実における受動的な人間デモンストレーションからのロボットマニピュレーション学習

ARMimic: Learning Robotic Manipulation from Passive Human Demonstrations in Augmented Reality

XRヘッドセットと据え置きカメラだけで、ロボットなしで人間の手の動きを収集し、AR上で仮想ロボットの動作を重ねて衝突を避けつつ模倣学習データを作るフレームワーク。遠隔操作よりデモ時間を半減し、タスク成功率も向上させた。

詳しい要約

1. どんなもの？

- 消費者向け XR headset と固定式 workplace camera のみで、ロボット無しに受動的な人間デモを収集する枠組み ARMimic を提案 - egocentric hand tracking、AR robot overlay、real-time depth sensing を統合し、衝突を考慮した運動学的に実行可能なデモを実現 - 人間と virtual robot の軌道を交換可能に扱う unified imitation learning pipeline を中核に据える - 2つの manipulation task（long-horizon bowl stacking を含む）で評価

2. 先行研究と比べてどこがすごい？

- 従来の kinesthetic teaching や teleoperation は煩雑でハードウェア依存が大きく作業を妨げる - XR headset による passive observation の既存手法は追加ハードウェア・複雑な calibration・制約された記録条件を要し拡張性と使い勝手を損なう - ARMimic は軽量かつ hardware-minimal な構成で、ロボット不要のスケーラブルなデータ収集を可能にする - teleoperation 比でデモ時間を50%削減、teleoperated data で学習した ACT 比でタスク成功率を11%改善

3. 技術・手法の肝は？

- egocentric hand tracking により装着者の手の動きを取得 - AR robot overlay で仮想ロボットを重畳表示し、デモをロボット embodiment に対応付ける - real-time depth sensing により衝突を考慮した collision-aware で kinematically feasible なデモを担保 - unified imitation learning pipeline が人間と virtual robot の軌道を交換可能に扱い、異なる embodiment や環境へ汎化する policy を学習 - 固定式 workplace camera を併用した軽量構成

4. どうやって有効だと検証した？

- 2つの manipulation task で検証。うち1つは challenging な long-horizon bowl stacking - teleoperation と比較しデモ時間が50%削減 - teleoperated data で学習した state-of-the-art baseline の ACT と比較しタスク成功率が11%向上 - 安全でシームレスな in-the-wild データ収集が可能であることを示す結果

5. 議論はある？

- 安全・シームレス・in-the-wild なデータ収集を実現し、多様な実世界設定でのスケーラブルな robot learning への可能性を示唆 - 限界や失敗事例、タスク数・被験者数などの詳細は要旨からは不明 - 追加ハードウェアや複雑な calibration を要さない点が scalability と usability の議論の中心

6. 次に読むべき論文は？

- ACT（teleoperated data で学習した state-of-the-art baseline、本論文で比較対象） - kinesthetic teaching や teleoperation を用いる従来の imitation learning 研究 - XR headset による passive observation / egocentric demonstration collection の既存研究 - extended reality (XR) を用いた robot learning の関連手法（個別論文名は要旨からは不明）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rohan Walia, Yusheng Wang, Ralf Römer, Masahiro Nishio, Angela P. Schoellig, Jun Ota

分類: cs.RO

原文アブストラクト

Imitation learning is a powerful paradigm for robot skill acquisition, yet conventional demonstration methods--such as kinesthetic teaching and teleoperation--are cumbersome, hardware-heavy, and disruptive to workflows. Recently, passive observation using extended reality (XR) headsets has shown promise for egocentric demonstration collection, yet current approaches require additional hardware, complex calibration, or constrained recording conditions that limit scalability and usability. We present ARMimic, a novel framework that overcomes these limitations with a lightweight and hardware-minimal setup for scalable, robot-free data collection using only a consumer XR headset and a stationary workplace camera. ARMimic integrates egocentric hand tracking, augmented reality (AR) robot overlays, and real-time depth sensing to ensure collision-aware, kinematically feasible demonstrations. A unified imitation learning pipeline is at the core of our method, treating both human and virtual robot trajectories as interchangeable, which enables policies that generalize across different embodiments and environments. We validate ARMimic on two manipulation tasks, including challenging long-horizon bowl stacking. In our experiments, ARMimic reduces demonstration time by 50% compared to teleoperation and improves task success by 11% over ACT, a state-of-the-art baseline trained on teleoperated data. Our results demonstrate that ARMimic enables safe, seamless, and in-the-wild data collection, offering great potential for scalable robot learning in diverse real-world settings.

arXivで原文を読む →arXiv概要ページ

← 論文一覧