日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.11709

EgoDex:大規模一人称視点動画からの巧みな操作の学習

EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video

シェア:XThreadsFacebookLINEはてブBluesky

Apple Vision Proで収集した829時間の一人称視点動画と3D手・指トラッキングデータからなる大規模データセットEgoDexを構築し、模倣学習のベンチマークを提供した。

詳しい要約

1. どんなもの?

- EgoDexは、dexterous manipulationのための大規模egocentric videoデータセット - Apple Vision Proを用いて収集 - 829時間のegocentric videoと、記録時に対応付けられた3D hand and finger tracking dataを含む - 194種類のtabletop tasksをカバーし、靴紐結びから洗濯物畳みまで多様な日常物体操作を含む - データセット公開とともに、hand trajectory predictionのimitation learning policyの学習・評価、metricsとbenchmarksの提案も行う

2. 先行研究と比べてどこがすごい?

- 従来のmanipulation向けimitation learningはデータ不足が課題 - 自然言語や2D computer visionのようなInternet-scale corpusが存在しない - 既存の大規模egocentric videoデータセットEgo4Dは、native hand pose annotationsを持たず、object manipulationに焦点を当てていない - EgoDexは、記録時点で対応付けられた3D hand and finger tracking dataを持つ点、およびmanipulationに特化した多様なtask群を持つ点が異なる - 著者らは現時点で最大かつ最も多様なdexterous human manipulationデータセットと位置づける

3. 技術・手法の肝は?

- Apple Vision Proを用いてegocentric videoを収集 - 複数のcalibrated camerasとon-device SLAMにより、各手の全関節のposeを精密に追跡 - 記録時に3D hand and finger tracking dataをペアで取得 - 194種類のtabletop tasksを日常的なhousehold objectsで実施 - データセット上でhand trajectory predictionのimitation learning policyを学習・体系的に評価 - hand trajectory predictionの進展を測るmetricsとbenchmarksを導入

4. どうやって有効だと検証した?

- EgoDex上でimitation learning policiesを学習し、hand trajectory predictionについて体系的に評価 - metricsとbenchmarksを導入し、この分野の進展を測定可能にした - 具体的な評価結果の数値や比較対象は要旨からは不明 - データセットはhttps://github.com/apple/ml-egodexで公開

5. 議論はある?

- 大規模egocentric videoをpassively scalableなデータ源として活用する可能性を示す - データセット公開によりrobotics、computer vision、foundation modelsのfrontierを押し広げることを期待 - 具体的な限界、失敗事例、倫理的議論については要旨からは不明 - 評価結果の詳細な分析や議論は要旨からは不明

6. 次に読むべき論文は?

- Ego4D(既存の大規模egocentric videoデータセットとして比較対象) - imitation learning for manipulation(データ不足問題の文脈) - dexterous manipulation(対象分野) - hand trajectory prediction(評価対象のタスク) - foundation models(応用先として言及)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ryan Hoque, Peide Huang, David J. Yoon, Mouli Sivapurapu, Jian Zhang

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Imitation learning for manipulation has a well-known data scarcity problem. Unlike natural language and 2D computer vision, there is no Internet-scale corpus of data for dexterous manipulation. One appealing option is egocentric human video, a passively scalable data source. However, existing large-scale datasets such as Ego4D do not have native hand pose annotations and do not focus on object manipulation. To this end, we use Apple Vision Pro to collect EgoDex: the largest and most diverse dataset of dexterous human manipulation to date. EgoDex has 829 hours of egocentric video with paired 3D hand and finger tracking data collected at the time of recording, where multiple calibrated cameras and on-device SLAM can be used to precisely track the pose of every joint of each hand. The dataset covers a wide range of diverse manipulation behaviors with everyday household objects in 194 different tabletop tasks ranging from tying shoelaces to folding laundry. Furthermore, we train and systematically evaluate imitation learning policies for hand trajectory prediction on the dataset, introducing metrics and benchmarks for measuring progress in this increasingly important area. By releasing this large-scale dataset, we hope to push the frontier of robotics, computer vision, and foundation models. EgoDex is publicly available for download at https://github.com/apple/ml-egodex.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI