日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

身体化事前学習arXiv:2606.20521

HumanScale: 身体中心の人間ビデオは実ロボットデータを凌駕する身体化事前学習の可能性

HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining

シェア:XThreadsFacebookLINEはてブBluesky

身体化基盤モデルの事前学習データとして、遠隔操作の実ロボット軌跡と身体中心の人間ビデオを比較し、適切なフィルタリングとラベリング処理を施した人間ビデオが実ロボットデータよりも優れた性能を示すことを発見した。

詳しい要約

1. どんなもの?

本論文は、embodied foundation model の pretraining データ源として、egocentric human video と teleoperated real-robot trajectories を同一の post-training・validation protocol 下で体系的に比較した研究である。 - 目的 - egocentric human video が real-robot data の代替となり得るか、さらに上回るかを検証する。 - 主張 - 適切な filtering・labeling pipeline を通せば、egocentric data は pretraining に有効で、real-robot data より優れる場合がある。 - 提案パラダイム - egocentric human video で多様な world representation を pretrain し、少量の labeled real-robot data で action-space alignment を行う。

2. 先行研究と比べてどこがすごい?

従来、embodied foundation model の pretraining は teleoperated real-robot trajectories が主流であった。 - 先行研究の前提 - real-robot data は precise action supervision と embodiment alignment に優れるが、収集コスト・入手困難性・behavioral/environmental diversity の低さが scalability を制限する。 - 本研究の貢献 - egocentric human video の有効性は未解明だったが、同一 pretraining データ量で real-robot action prediction の validation loss を 24% 低減。 - in-distribution で 52.5%、out-of-distribution で 90% 高い real-robot task 成功率を達成。 - egocentric data が単なる代替でなく、real-robot d…

3. 技術・手法の肝は?

技術の肝は、egocentric human video を pretraining に使うための filtering・labeling pipeline と、real-robot data による post-training の分離設計にある。 - データ処理 - egocentric video に対し、慎重に設計された filtering と labeling を適用。 - 学習パラダイム - まず egocentric human video で多様な world representation を pretrain。 - その後、少量の labeled real-robot data で action-space alignment を行う。 - 比較条件 - post-training と validation protocol を固定し、pretraining データ源のみを比較。 - 詳細な model 構造や filtering 基準は要旨からは不明。

4. どうやって有効だと検証した?

固定した post-training と validation protocol の下で、egocentric human video と teleoperated real-robot trajectories を pretraining データ源として比較した。 - 評価指標 - real-robot action prediction の validation loss。 - in-distribution および out-of-distribution の real-robot task execution 成功率。 - 結果 - 同一 pretraining データ量で、egocentric data は validation loss を 24% 低減。 - 成功率は in-distribution で 52.5%、out-of-distribution で 90% 向上。 - これにより egocentric data の有効性を実証。

5. 議論はある?

本論文は、egocentric human video を pretrain に用い、少量の real-robot data で適応する scalable paradigm を検証している。 - 意義 - 高コストな robot data 収集前に、egocentric data の品質評価を行う指針を提供。 - egocentric data のより広い探索を促す。 - 限界・議論 - 要旨からは、filtering・labeling pipeline の詳細や、どのようなタスク・環境で有効かは不明。 - real-robot data との比較における embodiment gap や action space の違いに関する議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究は teleoperated real-robot trajectories を用いた embodied foundation model の pretraining である。 - 関連手法 - teleoperation による real-robot data 収集と pretraining。 - egocentric human video を用いた embodied pretraining。 - 次に読むべき候補 - 要旨に具体的な論文名はないため、同分野の定番として embodied foundation model、robot learning、egocentric vision に関する代表的論文を挙げる。 - 具体的には RT-1、RT-2、Open X-Embodiment、Ego4D などが関連するが、要旨での直接参照は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Juncheng Ma, Jianxin Bi, Yufan Deng, Xuanran Zhai, Kewei Zhang, Ye Huang, Bo Liang, Shukai Gong, Jiankai Tu, Xiaotian Tang, Jiaxin Li, Kaiqi Chen, Duomin Wang, Yuqi Wang, Bingyi Kang, Eric Huang, Zhiyang Dou, Zhen Dong, Enze Xie, Wojciech Matusik, Tat-Seng Chua, Daquan Zhou

分類: cs.CV

原文アブストラクト

Embodied foundation models are expected to benefit from data scaling like large language models, but face a much tighter data bottleneck. Teleoperated real-robot trajectories remain the dominant pretraining source due to their precise action supervision and embodiment alignment, yet their scalability is limited by high collection cost, acquisition difficulty, and low behavioral and environmental diversity. These limitations have sparked interest in egocentric human video as a scalable, substantially lower-cost, and more diverse alternative for embodied model pretraining. However, its effectiveness compared to teleoperated real-robot data remains underexplored. To address this question, we conduct a systematic study comparing egocentric human video and teleoperated real-robot trajectories as pretraining data sources for embodied foundation models, under fixed post-training and validation protocols. Surprisingly, we find that egocentric data, when processed through a carefully designed filtering and labeling pipeline, is not merely a viable substitute for model pretraining but can lead to superior performance. With the same amount of pretraining data, models pretrained on egocentric data achieve a 24% lower validation loss on real-robot action prediction, as well as 52.5% and 90% higher success rates on in-distribution and out-of-distribution real-robot task execution, respectively. This finding verifies a scalable paradigm for embodied foundation models: pretrain on egocentric human video to learn diverse world representations, then adapt with a small amount of labeled real-robot data for action-space alignment. We hope this study encourages broader exploration of egocentric data and offers guidance for data quality assessment before costly robot data collection.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI