日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

映像生成/世界モデルarXiv:2502.04296

異種マスク付き自己回帰による実世界の行動-映像ダイナミクスの学習

Learning Real-World Action-Video Dynamics with Heterogeneous Masked Autoregression

シェア:XThreadsFacebookLINEはてブBluesky

異なるロボットの身体・環境・タスクの観察と行動列を統合的に事前学習し、マスク付き自己回帰で映像を予測するモデルHMAを提案。従来のロボット映像生成より高品質かつ15倍高速で、ポリシー評価や合成データ生成に使える映像シミュレータとして機能する。

著者: Lirui Wang, Kevin Zhao, Chaoqi Liu, Xinlei Chen

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

We propose Heterogeneous Masked Autoregression (HMA) for modeling action-video dynamics to generate high-quality data and evaluation in scaling robot learning. Building interactive video world models and policies for robotics is difficult due to the challenge of handling diverse settings while maintaining computational efficiency to run in real time. HMA uses heterogeneous pre-training from observations and action sequences across different robotic embodiments, domains, and tasks. HMA uses masked autoregression to generate quantized or soft tokens for video predictions. \ourshort achieves better visual fidelity and controllability than the previous robotic video generation models with 15 times faster speed in the real world. After post-training, this model can be used as a video simulator from low-level action inputs for evaluating policies and generating synthetic data. See this link https://liruiw.github.io/hma for more information.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI