日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.09515

WMPO:世界モデルに基づく視覚-言語-行動モデルの方策最適化

WMPO: World Model-based Policy Optimization for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

実環境と相互作用せずにピクセルベースの世界モデル上でVLAモデルを強化学習し、自己修正などの創発行動やサンプル効率の向上を実現した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル向けの強化学習フレームワーク WMPO を提案 - 実環境と相互作用せずに on-policy RL を行う枠組み - pixel ベースの world model 上で「想像」した軌跡を用いて policy を最適化 - 実ロボットでのサンプル効率・性能・自己修正・汎化・生涯学習を狙う

2. 先行研究と比べてどこがすごい?

- 従来 VLA は expert demonstrations 依存で失敗からの学習や自己修正が困難 - 実ロボット RL は sample complexity が高い - 広く使われる latent world model ではなく pixel ベース予測を採用 - off-policy ではなく on-policy GRPO を可能にし、性能向上を示す

3. 技術・手法の肝は?

- World-Model-based Policy Optimization (WMPO) を提案 - pixel ベースの world model で軌跡を予測 - 予測を web-scale 画像で pretrain された VLA 特徴に整合させる - 想像軌跡上で on-policy GRPO を実行し policy を更新

4. どうやって有効だと検証した?

- simulation と real-robot の両設定で実験 - サンプル効率の大幅改善を確認 - 総合性能の向上を確認 - self-correction などの創発行動、汎化・生涯学習能力を確認

5. 議論はある?

- 実環境と相互作用しない on-policy VLA RL の枠組みを提示 - pixel ベース予測と VLA 特徴の整合の重要性を示唆 - on-policy GRPO が off-policy 手法より強い性能を与えると主張 - 限界や失敗条件の詳細は要旨からは不明

6. 次に読むべき論文は?

- GRPO (Group Relative Policy Optimization) - latent world model を用いる既存手法 - off-policy RL による VLA 学習 - Vision-Language-Action (VLA) モデル全般

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fangqi Zhu, Zhengyang Yan, Zicong Hong, Quanxin Shou, Xiao Ma, Song Guo

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models have shown strong potential for general-purpose robotic manipulation, but their reliance on expert demonstrations limits their ability to learn from failures and perform self-corrections. Reinforcement learning (RL) addresses these through self-improving interactions with the physical environment, but suffers from high sample complexity on real robots. We introduce World-Model-based Policy Optimization (WMPO), a principled framework for on-policy VLA RL without interacting with the real environment. In contrast to widely used latent world models, WMPO focuses on pixel-based predictions that align the "imagined" trajectories with the VLA features pretrained with web-scale images. Crucially, WMPO enables the policy to perform on-policy GRPO that provides stronger performance than the often-used off-policy methods. Extensive experiments in both simulation and real-robot settings demonstrate that WMPO (i) substantially improves sample efficiency, (ii) achieves stronger overall performance, (iii) exhibits emergent behaviors such as self-correction, and (iv) demonstrates robust generalization and lifelong learning capabilities.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI