日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.16917

異種ロボット学習のための統合運動-行動モデリング

Unified Motion-Action Modeling for Heterogeneous Robot Learning

シェア:XThreadsFacebookLINEはてブBluesky

3D物体運動軌跡を共通インターフェースとして用い、視覚運動制御と力学モデリングを統合するモデルを提案。マスク生成目的と対照学習により、多様なデータソースからのマルチタスク事前学習と、複数の推論モードでの適応を実現する。

詳しい要約

1. どんなもの?

- 3D object motion trajectoriesを共有インターフェースとして、visuomotor controlとdynamics modelingを橋渡しするUnified Motion-Action (UMA) Modelを提案。 - object motionとrobot actionsをco-evolving variablesとして扱い、masked generative objectiveの下で統合。 - mask patternがpretrainingのsupervision regimeとdeploymentのinference modeを決定。 - 異種データソース間でのmulti-task pretrainingを可能にし、手動のtask instructions不要。 - 展開時には同じpretrained parametersでmotion-conditioned visuomotor control、motion-based dynamics modeling、few-shot demonstrationsからのtask adaptationを…

2. 先行研究と比べてどこがすごい?

- 従来のvisuomotor controlとdynamics modelingは別々に扱われることが多かったが、UMAは3D object motion trajectoriesを共有インターフェースとして統合。 - 手動で注釈されたtask instructionsを必要とせず、heterogeneous data sources(robot demonstrations, human videos, simulated data)でのmulti-task pretrainingを実現。 - 単一のpretrained modelが複数のinference mode(motion-conditioned visuomotor control, motion-based dynamics modeling, few-shot task adaptation)で動作可能。 - 各inference modeに特化したstate-of-the-art baselinesを一貫して上回る性能を達成。

3. 技術・手法の肝は?

- 3D object motion trajectoriesを共有インターフェースとして使用。 - object motionとrobot actionsをco-evolving variablesとし、masked generative objectiveで学習。 - mask patternがpretraining時のsupervision regimeとdeployment時のinference modeを決定。 - hindsight-relabeled motion contextsを利用。 - task intentとscene geometryを分離するcontrastive objectiveを導入。 - これにより、手動注釈なしでheterogeneous data sourcesからのmulti-task pretrainingが可能。

4. どうやって有効だと検証した?

- robot demonstrations、human videos、simulated dataの混合データセットでpretrainingを実施。 - 各inference mode(motion-conditioned visuomotor control, motion-based dynamics modeling, few-shot task adaptation)において、それぞれに特化したstate-of-the-art baselinesと比較。 - UMAが一貫してこれらのbaselinesを上回ることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、visuomotor controlではBehavior Cloning、Dynamics ModelingではWorld Models、Multi-task LearningではMeta-Learningなどが考えられるが、具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunhao Cao, Shitong Liu, Chao Feng, Meryl Zhang, Xuanchen Lu, Andrew Owens, Kuan Fang

分類: cs.RO

原文アブストラクト

We present Unified Motion-Action (UMA) Model, an approach that uses 3D object motion trajectories as a shared interface to bridge visuomotor control and dynamics modeling. UMA treats object motion and robot actions as co-evolving variables under a masked generative objective, in which the mask pattern determines both the supervision regime during pretraining and the inference mode at deployment. Using hindsight-relabeled motion contexts and a contrastive objective that disentangles task intent from scene geometry, UMA enables multi-task pretraining across heterogeneous data sources without requiring manually annotated task instructions. At deployment, the same pretrained parameters support motion-conditioned visuomotor control, motion-based dynamics modeling, and task adaptation from few-shot demonstrations. Pretrained on a mixture of robot demonstrations, human videos, and simulated data, UMA consistently outperforms state-of-the-art baselines specialized for each inference mode.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI