日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.21986

一人称視点動画から視覚-言語-行動モデルを構築する

Developing Vision-Language-Action Model from Egocentric Videos

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点の動画から6DoF物体操作軌跡を抽出し、大規模なVLA事前学習データセットを構築。シミュレーションと実機で成功率が20%以上向上することを示した。

詳しい要約

1. どんなもの?

- 一人称視点の egocentric videos から Vision-Language-Action models (VLAs) を学習する取り組み。 - EgoScaler を用い、補助記録なしで 6DoF object manipulation trajectories を抽出。 - 4つの大規模 egocentric video datasets に適用し、ノイズや不完全な軌跡を自動修正して VLA pre-training 用の新規大規模データセットを構築。 - 目的は、高コストな expert-driven manual teleoperation に代わるスケーラブルな学習資源の活用。

2. 先行研究と比べてどこがすごい?

- 従来の egocentric videos を用いた robot policy 学習は、detailed hand-pose recordings などの補助アノテーションに依存していた。 - 本研究は、そのような補助記録を必要とせず、raw egocentric videos から直接 VLA を学習できるかを検証。 - EgoScaler により補助記録なしで 6DoF 軌跡を抽出する点が先行研究との違い。 - 大規模データセット構築と、simulated/real-robot 双方での検証を行っている点が特徴。

3. 技術・手法の肝は?

- EgoScaler フレームワークを用い、egocentric videos から 6DoF object manipulation trajectories を抽出。 - 4つの大規模 egocentric video datasets に適用。 - 抽出されたノイズや不完全な軌跡を自動的に refine し、VLA pre-training 用データセットを構築。 - 学習には state-of-the-art の π_0 アーキテクチャを採用。 - simulated 環境と real-robot 環境の両方で実験。

4. どうやって有効だと検証した?

- π_0 アーキテクチャを用い、simulated と real-robot の両環境で実験。 - 主な結果は3点。 - 構築データセットでの pre-training により、from scratch 学習と比べ task success rates が 20% 以上向上。 - real-robot datasets を用いた場合と競争力のある性能。 - 構築データセットと real-robot data の併用でさらなる改善。

5. 議論はある?

- egocentric videos が VLA 研究を進める上で有望かつスケーラブルな資源であると結論。 - 補助アノテーションなしの raw egocentric videos からの学習可能性を示唆。 - 具体的な限界、失敗事例、データセット規模や軌跡抽出精度の詳細な議論は要旨からは不明。 - real-robot data との併用効果の要因分析は要旨からは不明。

6. 次に読むべき論文は?

- EgoScaler(本研究で用いた軌跡抽出手法) - π_0(実験に用いた VLA アーキテクチャ) - 比較対象として言及される real-robot datasets を用いた VLA 学習研究 - egocentric videos を用いた robot policy 学習の先行研究(detailed hand-pose recordings に依存するもの)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tomoya Yoshida, Shuhei Kurita, Taichi Nishimura, Shinsuke Mori

分類: cs.RO, cs.AI

原文アブストラクト

Egocentric videos capture how humans manipulate objects and tools, providing diverse motion cues for learning object manipulation. Unlike the costly, expert-driven manual teleoperation commonly used in training Vision-Language-Action models (VLAs), egocentric videos offer a scalable alternative. However, prior studies that leverage such videos for training robot policies typically rely on auxiliary annotations, such as detailed hand-pose recordings. Consequently, it remains unclear whether VLAs can be trained directly from raw egocentric videos. In this work, we address this challenge by leveraging EgoScaler, a framework that extracts 6DoF object manipulation trajectories from egocentric videos without requiring auxiliary recordings. We apply EgoScaler to four large-scale egocentric video datasets and automatically refine noisy or incomplete trajectories, thereby constructing a new large-scale dataset for VLA pre-training. Our experiments with a state-of-the-art $\pi_0$ architecture in both simulated and real-robot environments yield three key findings: (i) pre-training on our dataset improves task success rates by over 20\% compared to training from scratch, (ii) the performance is competitive with that achieved using real-robot datasets, and (iii) combining our dataset with real-robot data yields further improvements. These results demonstrate that egocentric videos constitute a promising and scalable resource for advancing VLA research.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI