マニピュレーション2025/11/1arXiv:2511.00153

EgoMI：一人称視点の人間デモから能動視覚と全身マニピュレーションを学習

EgoMI: Learning Active Vision and Whole-Body Manipulation from Egocentric Human Demonstrations

人間の一人称視点の操作データから頭部と手の動きを同時に取得し、半人型ロボットで能動視覚を伴う模倣学習を実現するフレームワークを提案した。

詳しい要約

1. どんなもの？

- 人間の egocentric な操作デモから、ロボットの模倣学習を行うためのフレームワーク EgoMI (Egocentric Manipulation Interface) を提案 - 操作中の end-effector と active head の軌道を同期して取得し、semi-humanoid なロボット embodiment へ retargeting 可能なデータとする - 頭部と手の協調(active vision と whole-body manipulation)を扱う点が特徴 - 頭部 viewpoint の急激かつ広範囲な変化に対応するため、履歴観測を選択的に取り込む memory-augmented policy を導入

2. 先行研究と比べてどこがすごい？

- 従来の人間デモからの模倣学習は embodiment gap が課題で、特に人間が行う能動的な頭部・視線運動を静的センサのロボットが再現できず分布シフトが生じる - 本研究は操作中の head と hand の同期軌道を取得・活用することで、この分布シフトの低減を狙う点が新しい - 頭部運動を明示的にモデル化する policy が baseline 手法を一貫して上回ったと報告 - 具体的な比較対象の手法名は要旨からは不明

3. 技術・手法の肝は？

- egocentric デモにおいて end-effector と active head の軌道を同期取得 - 取得データを semi-humanoid なロボット embodiment へ retargeting - 急激で広範囲な頭部 viewpoint 変化に対処するため、過去観測を選択的に取り込む memory-augmented policy を設計 - 頭部運動を明示的にモデル化する coordinated hand-eye learning を採用

4. どうやって有効だと検証した？

- actuated camera head を備えた bimanual robot 上で評価 - 頭部運動を明示的にモデル化した policy が baseline 手法を一貫して上回ることを確認 - 結果から、EgoMI による hand-eye 協調学習が semi-humanoid embodiment における embodiment gap の橋渡しに有効と示唆 - 具体的なタスク数や指標の詳細は要旨からは不明

5. 議論はある？

- 頭部運動の明示的モデル化と memory-augmented policy の有効性を示唆 - 一方、semi-humanoid 以外の embodiment への一般化や、retargeting の限界については要旨からは不明 - baseline の詳細や失敗事例、データ規模などの議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として、人間デモからの imitation learning、egocentric データの retargeting、active vision、memory-augmented policy に関する研究を次に読む候補として挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Justin Yu, Yide Shentu, Di Wu, Pieter Abbeel, Ken Goldberg, Philipp Wu

分類: cs.RO

原文アブストラクト

Imitation learning from human demonstrations offers a promising approach for robot skill acquisition, but egocentric human data introduces fundamental challenges due to the embodiment gap. During manipulation, humans actively coordinate head and hand movements, continuously reposition their viewpoint and use pre-action visual fixation search strategies to locate relevant objects. These behaviors create dynamic, task-driven head motions that static robot sensing systems cannot replicate, leading to a significant distribution shift that degrades policy performance. We present EgoMI (Egocentric Manipulation Interface), a framework that captures synchronized end-effector and active head trajectories during manipulation tasks, resulting in data that can be retargeted to compatible semi-humanoid robot embodiments. To handle rapid and wide-spanning head viewpoint changes, we introduce a memory-augmented policy that selectively incorporates historical observations. We evaluate our approach on a bimanual robot equipped with an actuated camera head and find that policies with explicit head-motion modeling consistently outperform baseline methods. Results suggest that coordinated hand-eye learning with EgoMI effectively bridges the human-robot embodiment gap for robust imitation learning on semi-humanoid embodiments. Project page: https://egocentric-manipulation-interface.github.io

arXivで原文を読む →arXiv概要ページ

EgoMI：一人称視点の人間デモから能動視覚と全身マニピュレーションを学習

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

OZ GAMING（GPU搭載BTOゲーミングPC）

双腕モバイルマニピュレーター OpenShell