日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2602.16710

EgoScale:多様な一人称視点ヒューマンデータによる器用なマニピュレーションのスケーリング

EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data

シェア:XThreadsFacebookLINEはてブBluesky

2万時間超の一人称視点ヒューマン動画でVLAモデルを事前学習し、人間データ量と検証損失の対数線形則を発見。軽量な人間-ロボット中間学習により、22自由度ハンドの器用な操作成功率を54%向上させた。

詳しい要約

1. どんなもの?

- 大規模なegocentric human videoを用いたhuman-to-dexterous manipulation転移フレームワークEgoScaleを提案。 - 20,854時間以上のaction labeled egocentric human videoでVision Language Action (VLA)モデルを訓練。 - 人間データ規模とvalidation lossの間にlog linear scaling lawを発見。 - 2段階転移レシピ:大規模human pretraining + 軽量aligned human-robot mid training。 - 22 DoF dexterous robotic handでno pretraining baseline比平均成功率54%向上。 - 低DoFハンドのロボットにも効果的に転移し、embodiment agnosticなmotor priorを示唆。

2. 先行研究と比べてどこがすごい?

- 先行研究は制約された設定でのhuman-to-robot transferを示すのみ。 - 大規模human dataがfine-grained, high DoF dexterous manipulationを支えられるか不明だった。 - 本研究は20,854時間超のデータを使用し、先行研究の20倍以上の規模。 - human data scaleとvalidation lossのlog linear scaling lawを明らかにし、予測可能なsupervision源として確立。 - 大規模human motionが再利用可能でembodiment agnosticなmotor priorとなることを示した。

3. 技術・手法の肝は?

- 大規模egocentric human videoにaction labelを付与し、VLAモデルを訓練。 - 2段階転移:大規模human pretraining後、軽量aligned human-robot mid trainingを実施。 - これにより最小限のrobot supervisionで長期的dexterous manipulationとone-shot task adaptationを実現。 - 22 DoF dexterous robotic handを用いたpolicyを学習。 - 低DoFハンドのロボットにも転移可能な設計。

4. どうやって有効だと検証した?

- 20,854時間超のaction labeled egocentric human videoでVLAモデルを訓練。 - validation lossと実ロボット性能の強い相関を確認。 - 22 DoF dexterous robotic handでno pretraining baseline比平均成功率54%向上を達成。 - 低DoFハンドのロボットへの転移も検証。 - 長期的dexterous manipulationとone-shot task adaptationの有効性を実証。

5. 議論はある?

- 大規模human dataが予測可能なsupervision源となることを示唆。 - human motionがembodiment agnosticなmotor priorとして再利用可能であると議論。 - 低DoFハンドへの転移可能性に言及。 - 具体的な限界や失敗事例、計算コスト、データ収集のバイアスなどは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVision Language Action (VLA)モデル、human-to-robot transfer、dexterous manipulationの定番研究が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruijie Zheng, Dantong Niu, Yuqi Xie, Jing Wang, Mengda Xu, Yunfan Jiang, Fernando Castañeda, Fengyuan Hu, You Liang Tan, Letian Fu, Trevor Darrell, Furong Huang, Yuke Zhu, Danfei Xu, Linxi Fan

分類: cs.RO

原文アブストラクト

Human behavior is among the most scalable sources of data for learning physical intelligence, yet how to effectively leverage it for dexterous manipulation remains unclear. While prior work demonstrates human to robot transfer in constrained settings, it is unclear whether large scale human data can support fine grained, high degree of freedom dexterous manipulation. We present EgoScale, a human to dexterous manipulation transfer framework built on large scale egocentric human data. We train a Vision Language Action (VLA) model on over 20,854 hours of action labeled egocentric human video, more than 20 times larger than prior efforts, and uncover a log linear scaling law between human data scale and validation loss. This validation loss strongly correlates with downstream real robot performance, establishing large scale human data as a predictable supervision source. Beyond scale, we introduce a simple two stage transfer recipe: large scale human pretraining followed by lightweight aligned human robot mid training. This enables strong long horizon dexterous manipulation and one shot task adaptation with minimal robot supervision. Our final policy improves average success rate by 54% over a no pretraining baseline using a 22 DoF dexterous robotic hand, and transfers effectively to robots with lower DoF hands, indicating that large scale human motion provides a reusable, embodiment agnostic motor prior.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI