日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.34256

UMR: 汎用マニピュレーション表現

UMR: Universal Manipulation Representation

シェア:XThreadsFacebookLINEはてブBluesky

人間の実演から異なるロボットへゼロショットで技能を転移できる統一的な行動表現UMRを提案し、物体の動きとエンドエフェクタ軌道を分離して学習する小型VLAモデルで高い成功率を達成した。

詳しい要約

1. どんなもの?

本論文は、embodimentをまたいで汎化する統一的action表現である Universal Manipulation Representation (UMR) を提案する。 - UMRはmanipulationを2つの機能的に異なるが幾何学的にリンクした要素に分解する。 - embodiment非依存の World Flow: world frame におけるタスク関連物体運動を記述。 - Ego Trajectory: 現在poseに対するend-effector運動を表現。 - これを World--Ego Point VLA (WEPVLA) として実装。 - 0.5Bパラメータのcompactなpolicy。 - dual-stream Point Action Adapter と unified Point Action Expert で統一的幾何action空間を学習。 - SE(3) conjugation で2成分を結合。 - データ効率化のため Data-Efficient Strategy (DES) を併用。 - stage-awar…

2. 先行研究と比べてどこがすごい?

既存policyはembodiment固有のaction空間に依存し、cross-embodiment実演の大規模活用や新embodiment・空間変動への転移が困難だった。 - UMRはembodiment非依存のWorld FlowとEgo Trajectoryに分解することで、human demonstrationsからのzero-shot skill transferを可能にする。 - 実世界で、タスクあたり約10分のhuman demonstrationsのみ(robot demonstrationsなし)で学習した単一policyが、DES拡張により多様なdeployment条件へzero-shot転移。 - 6評価設定で平均91.7%成功、比較対象のHumanEgoは60.8%。 - simulationでもLIBEROで平均97.5%、10-task RLBenchで85.7%を達成。

3. 技術・手法の肝は?

UMRの肝は、manipulationを機能的に異なる2成分に分解し、幾何学的にリンクさせる点。 - World Flow: embodiment非依存で、world frameのタスク関連物体運動を記述。 - Ego Trajectory: 現在poseに対するend-effector運動を表現。 - WEPVLA: 0.5Bパラメータのcompact policy。 - dual-stream Point Action Adapter と unified Point Action Expert で統一的幾何action空間を学習。 - SE(3) conjugation が2成分を結合。 - DES: stage-aware point-cloud editing により物体配置を多様化しつつ、実演のcontact geometryを保持してデータ効率を改善。

4. どうやって有効だと検証した?

simulationとreal-worldで検証。 - simulation: WEPVLAはLIBEROで平均97.5%、10-task RLBench benchmarkで85.7%の成功率。 - real-world: human demonstrationsをDESで拡張して学習した単一policyが、多様なdeployment条件へzero-shot転移。 - タスクあたり約10分のhuman demonstrationsのみ、robot demonstrationsなし。 - 6評価設定で平均91.7%成功。 - 比較対象HumanEgoは60.8%。

5. 議論はある?

要旨からは不明。 - 限界、失敗事例、計算コスト、DESの詳細な有効性、他embodimentへの一般性などについての議論は要旨に記載がない。

6. 次に読むべき論文は?

要旨で参照・比較されている研究として HumanEgo が挙げられる。 - また、評価に用いられた LIBERO および RLBench は関連benchmarkとして読む価値がある。 - その他の関連手法は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Song Liu, Linyi Li, Yanshun Zhao, Rxuan Li, Xinrui Xu, Yi Ju, Yahui Deng, Senge Zhang, Guoyu Liu, Yixuan Li, Wuyang Zhang, Yao Li, Congcong Zhu, Jingrun Chen

分類: cs.RO

原文アブストラクト

General-purpose embodied manipulation hinges on a unified action representation that generalizes across embodiments and scales readily. Yet existing policies rely on embodiment-specific action spaces, making cross-embodiment demonstrations difficult to leverage at scale and limiting transfer to new embodiments and spatial variations. To this end, we introduce Universal Manipulation Representation (UMR), a unified action representation that enables zero-shot skill transfer from human demonstrations to heterogeneous robots. UMR decomposes manipulation into two functionally distinct yet geometrically linked components: embodiment-agnostic World Flow, which describes task-relevant object motion in the world frame, and Ego Trajectory, which represents end-effector motion relative to the current pose. We instantiate UMR as World--Ego Point VLA (WEPVLA), a compact 0.5B-parameter policy that learns in the unified geometric action space through a dual-stream Point Action Adapter and a unified Point Action Expert, with an $SE(3)$ conjugation coupling the two components. To improve data efficiency, we complement UMR with a Data-Efficient Strategy (DES) that diversifies object configurations through stage-aware point-cloud editing while preserving demonstrated contact geometry. In simulation, WEPVLA achieves average success rates of 97.5\% on LIBERO and 85.7\% on the 10-task RLBench benchmark. In real-world experiments, a single policy trained on human demonstrations augmented by DES transfers zero-shot to diverse deployment conditions. With about 10 minutes of collected human demonstrations per task and no robot demonstrations, it achieves 91.7\% average success across six evaluation settings, compared with 60.8\% for HumanEgo. Code and additional materials are available at https://umr-wepvla.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI