日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.05513

OpenEgo: 巧みな操作のための大規模マルチモーダル自己中心視データセット

OpenEgo: A Large-Scale Multimodal Egocentric Dataset for Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視点の動画を集め、手の姿勢と行動のラベルを統一した大規模データセットOpenEgoを構築し、言語条件付き模倣学習で巧みな手の軌道予測が可能なことを示した。

詳しい要約

1. どんなもの?

- OpenEgoは、一人称視点(egocentric)の巧みな操作(dexterous manipulation)のための大規模マルチモーダルデータセット。 - 6つの公開データセットを統合し、合計1107時間、290のmanipulationタスク、600以上の環境をカバー。 - 標準化されたhand-poseアノテーションと、意図に沿ったaction primitives(タイムスタンプ付き)を提供。 - 言語条件付き模倣学習(language-conditioned imitation learning)によるdexterous hand trajectory予測の検証に用いられる。

2. 先行研究と比べてどこがすごい?

- 既存のegocentric human videoコーパスは、細粒度で時間的に局所化されたaction記述、またはdexterous handアノテーションのいずれかを欠くことが多い。 - OpenEgoは両方を備え、hand-pose layoutsを統一し、記述的でタイムスタンプ付きのaction primitivesを提供する点が異なる。 - 1107時間・290タスク・600以上の環境という規模で、再現可能なvision-language-action学習を支援する設計。

3. 技術・手法の肝は?

- 6つの公開データセットを統合し、hand-pose layoutsを統一して標準化されたhand-poseアノテーションを付与。 - 意図に整合したaction primitivesをタイムスタンプ付きで記述し、言語条件付けを可能にする。 - 言語条件付きimitation-learning policiesを訓練し、dexterous hand trajectoriesを予測させる枠組みで有用性を検証。 - 詳細な学習手法・モデル構成は要旨からは不明。

4. どうやって有効だと検証した?

- OpenEgoを用いてlanguage-conditioned imitation-learning policiesを訓練し、dexterous hand trajectoriesの予測を行った。 - これによりデータセットの有用性を検証したと述べられている。 - 具体的な評価指標・ベースライン・定量結果は要旨からは不明。

5. 議論はある?

- OpenEgoはegocentric videoからのdexterous manipulation学習の障壁を下げ、再現可能な研究を支援することを目的とする。 - 全リソースと手順はwww.openegocentric.comで公開予定とされている。 - データセットの限界、ライセンス、バイアス、評価の詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、egocentric videoを用いたimitation learning、vision-language-action learning、dexterous hand pose estimation、language-conditioned policy learningの定番研究を次に読む候補として挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ahad Jawaid, Yu Xiang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Egocentric human videos provide scalable demonstrations for imitation learning, but existing corpora often lack either fine-grained, temporally localized action descriptions or dexterous hand annotations. We introduce OpenEgo, a multimodal egocentric manipulation dataset with standardized hand-pose annotations and intention-aligned action primitives. OpenEgo totals 1107 hours across six public datasets, covering 290 manipulation tasks in 600+ environments. We unify hand-pose layouts and provide descriptive, timestamped action primitives. To validate its utility, we train language-conditioned imitation-learning policies to predict dexterous hand trajectories. OpenEgo is designed to lower the barrier to learning dexterous manipulation from egocentric video and to support reproducible research in vision-language-action learning. All resources and instructions will be released at www.openegocentric.com.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI