日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.18428

世界モデリングによる潜在行動の事前学習

Latent Action Pretraining Through World Modeling

シェア:XThreadsFacebookLINEはてブBluesky

ラベルなし動画から世界モデリングで潜在行動表現を自己教師あり学習し、模倣学習モデルを事前学習するフレームワークLAWMを提案。

詳しい要約

1. どんなもの?

- 提案手法は LAWM と呼ばれる model-agnostic なフレームワーク - 目的は imitation learning モデルを self-supervised に pretrain すること - ラベル付き teleoperation データではなく、未ラベルの video データを利用 - world modeling を通じて latent action representation を学習する - robot の記録映像や、人間が日常物体を操作する映像も活用可能 - 学習した知識をタスク・環境・embodiment をまたいで転移できると主張

2. 先行研究と比べてどこがすごい?

- 先行する VLA である OpenVLA や π0 は大規模な手動ラベルの action データセットで学習 - LAPA や villa-X は latent action 表現を導入し未ラベルデータでの unsupervised pretraining を実現 - しかしこれらの手法はモデルサイズが大きく、実環境での展開が難しい - LAWM は model-agnostic な枠組みで、より効率的かつ実用的である点を主張 - 実世界設定での効率性・実用性を重視している点が差分

3. 技術・手法の肝は?

- world modeling を通じて未ラベル video から latent action representation を学習 - フレーム間の抽象的な視覚変化をモデル化する枠組み - 学習した latent action 表現を用いて imitation learning モデルを self-supervised に pretrain - robot 記録に限らず、人間の物体操作映像も学習データとして利用可能 - model-agnostic な設計により特定モデルに依存しない pretraining を実現 - 詳細なアーキテクチャや損失関数は要旨からは不明

4. どうやって有効だと検証した?

- LIBERO benchmark 上で評価を実施 - 実世界の setup でも検証を実施 - ground-truth の robot action で pretrain したモデルを上回ると報告 - 他の類似 pretraining 手法と比較して優位であると主張 - 実世界設定における効率性と実用性も示すとしている - 具体的な実験条件や指標の詳細は要旨からは不明

5. 議論はある?

- モデルサイズが大きい先行手法の実環境展開の難しさを課題として提示 - 未ラベル video と world modeling による latent action 学習の有効性を議論 - タスク・環境・embodiment をまたぐ知識転移の可能性に言及 - 効率性と実用性を重視する立場を示す - 限界や失敗事例、計算コストの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- OpenVLA(大規模手動ラベル action データで学習する VLA) - π0(同様に teleoperation データを用いる VLA) - LAPA(latent action 表現による unsupervised pretraining) - villa-X(latent action 表現を用いる関連手法) - world modeling を用いた表現学習の関連研究 - imitation learning の self-supervised pretraining に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bahey Tharwat, Yara Nasser, Ali Abouzeid, Ian Reid

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models have gained popularity for learning robotic manipulation tasks that follow language instructions. State-of-the-art VLAs, such as OpenVLA and $\pi_{0}$, were trained on large-scale, manually labeled action datasets collected through teleoperation. More recent approaches, including LAPA and villa-X, introduce latent action representations that enable unsupervised pretraining on unlabeled datasets by modeling abstract visual changes between frames. Although these methods have shown strong results, their large model sizes make deployment in real-world settings challenging. In this work, we propose LAWM, a model-agnostic framework to pretrain imitation learning models in a self-supervised way, by learning latent action representations from unlabeled video data through world modeling. These videos can be sourced from robot recordings or videos of humans performing actions with everyday objects. Our framework is able to transfer learned knowledge across tasks, environments, and embodiments. It outperforms models pretrained with ground-truth robot actions and other similar pretraining methods on the LIBERO benchmark and real-world setup, while being efficient and practical for real-world settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI