日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.33685

EXE: 因子分解潜在行動による一人称視点の異形態間事前学習

EXE: Egocentric Cross-Embodiment Pretraining via Factorized Latent Actions for VLA Models

シェア:XThreadsFacebookLINEはてブBluesky

一人称視点の人間動画から共有操作スキルと身体固有の動きを分離した潜在行動表現を学習し、VLAモデルの事前学習に活用するフレームワーク。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの事前学習フレームワーク EXE を提案 - Egocentric(一人称視点)の人間操作動画をロボット学習に活用する - 人間動画から factorized latent action representation を学習 - 共有される manipulation priors と embodiment 固有の信号を分離 - 同一の事前学習が parallel grippers と dexterous hands の両方に寄与 - 実世界および複数シミュレータで有効性を示す

2. 先行研究と比べてどこがすごい?

- ロボットデータ不足を egocentric human manipulation videos で補う発想 - 従来は embodiment gap により人間動画から行動関連表現を抽出しにくかった - 人間の手とロボットは reaching/grasping/placing などの primitives を共有する点に着目 - 共有行動表現と人間固有の運動パターンを切り分ける点が新規 - 事前学習なしの baseline に対し一貫した改善 - 異なる kinematic 構造をまたぐ転移を同一 pretraining で実現

3. 技術・手法の肝は?

- Egocentric Cross(X)-Embodiment pretraining framework を構築 - egocentric human videos から factorized latent action representation を学習 - 共有 manipulation priors と embodiment-specific signals に潜在行動を分解 - 共有 action space を介して robot policy が汎化可能な操作意味を獲得 - 人間固有の kinematics に policy が偏らないよう disentangle - 詳細なネットワーク構成や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- RoboTwin 2.0 で評価 - RoboCasa GR1 で評価 - 実世界の manipulation tasks で評価 - いずれも pretraining なしの baseline に対し一貫した性能向上を報告 - 具体的なタスク数・指標・被験者数などは要旨からは不明

5. 議論はある?

- 人間とロボットの運動学的差異をどう分離するかの妥当性が論点になり得る - 共有 priors がどこまで汎化するか、embodiment 間の転移限界は要旨からは不明 - parallel grippers と dexterous hands 双方への有効性を主張 - 実世界タスクの規模や多様性に関する詳細は要旨からは不明 - 失敗事例や限界についての記述は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として明示された baseline なし pretraining 設定の VLA 研究 - RoboTwin 2.0 および RoboCasa GR1 の関連論文 - egocentric human video を用いた事前学習研究(例: Ego4D 系の manipulation 研究) - latent action representation の学習手法(例: latent action models 関連) - cross-embodiment 転移に関する VLA 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qingyuan Cai, Bo Zhang, Yongzhen Huang, Jianyu Chen

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models are bottlenecked by the scarcity of robot data. Egocentric human manipulation videos offer an abundant, diverse, and semantically-rich alternative that inherently captures manipulation intent. However, the embodiment gap makes it difficult to extract action-relevant representations from these videos. From the perspective of action execution, human hands and robots share analogous manipulation primitives---reaching, grasping, placing---yet exhibit distinct kinematics tied to their embodiments. This might motivate our key approach: egocentric video pretraining can yield shared action representations capturing transferable manipulation skills, while human-specific motion patterns should be disentangled to avoid interfering with robot policy learning. To this end, we propose EXE, an Egocentric Cross(X)-Embodiment pretraining framework that learns a factorized latent action representation from egocentric human videos, separating shared manipulation priors from embodiment-specific signals. By leveraging the shared action space, the robot policy acquires generalizable manipulation semantics from diverse human demonstrations without being biased by human-specific kinematics. This shared knowledge transfers across embodiments with different kinematic structures, enabling the same pretraining to benefit both parallel grippers and dexterous hands. EXE yields consistent gains over baseline without pretraining on RoboTwin 2.0, RoboCasa GR1, and real-world manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI