EgoZero: スマートグラスからのロボット学習

- Project Aria smart glasses で取得した人間の egocentric な実世界デモンストレーションから、ロボットの manipulation policy を学習する最小構成のシステム EgoZero を提案。 - ロボットデータを一切使わず(zero robot data)、人間のデモのみで学習する点が特徴。 - gripper Franka Panda robot 上に展開し、7つの manipulation タスクで zero-shot transfer を実証。

- 従来の robot learning はロボット実機データ収集のコストや量がボトルネックであり、人間の豊富な物理インタラクションデータは未活用だった。 - EgoZero は in-the-wild の egocentric 人間デモのみから学習し、ロボットデータをゼロで済ませる点で先行研究と大きく異なる。 - タスクあたりわずか20分のデータ収集で、7タスクにわたり70%の zero-shot transfer 成功率を達成。

- (1) in-the-wild の egocentric 人間デモから、ロボットが実行可能な完全な action を抽出。 - (2) 人間の視覚観測を morphology-agnostic な state representation に圧縮。 - (3) closed-loop policy learning により、形態・空間・意味の面で汎化する policy を学習。

- gripper Franka Panda robot に EgoZero policy を展開し、7つの manipulation タスクで zero-shot transfer を評価。 - タスクあたり20分のデータ収集で70%の成功率を報告。 - 詳細な実験条件やベースライン比較は要旨からは不明。

- in-the-wild な人間データが実世界 robot learning のスケーラブルな基盤になり得ると主張。 - 多様で自然な訓練データが豊富に得られる将来への道筋を示唆。 - 限界や失敗要因、タスク依存性などの詳細な議論は要旨からは不明。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、egocentric 人間デモからの学習(例: Project Aria を用いた研究)、morphology-agnostic representation learning、zero-shot transfer に関する manipulation policy learning の論文を次に読むべき候補として挙げる。