日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.06508

World-VLA-Loop:ビデオ世界モデルとVLAポリシーの閉ループ学習

World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ世界モデルとVLAポリシーを相互に改善する閉ループ学習フレームワークを提案し、実世界での強化学習のコストを削減しつつVLA性能を向上させた。

詳しい要約

1. どんなもの?

World-VLA-Loopは、VLA (Vision-Language-Action) ポリシーを強化学習 (RL) で改善するための閉ループ学習フレームワーク。 - 2つの基盤設計: SANSデータセットとstate-aware video world model。 - 高次設計: 世界モデルとVLAポリシーを共進化させるパラダイム。 - 実世界RLの高コスト (rollout, reset, 監督, 安全リスク) を仮想環境で代替。 - シミュレーションと実ロボット実験でVLA性能を向上。

2. 先行研究と比べてどこがすごい?

従来のaction-conditioned video world modelは、 - 微妙なnear-success失敗で行動追従が不正確。 - RL用のネイティブ報酬信号が欠如。 - 不正確な視覚予測に基づく報酬計算は信頼性が低い。 World-VLA-Loopは、 - SANSで成功とnear-success軌道を混合し行動-結果整合性を改善。 - 報酬推定を生成器に結合し、視覚予測も向上。 - 固定シミュレータと更新ポリシーの不一致を閉ループで解消。

3. 技術・手法の肝は?

技術の肝は以下の通り。 - SANS: 成功軌道とnear-success軌道を意図的に混合したデータセット。 - state-aware video world model: diffusion latentsから将来フレームと二値報酬を同時予測。 - 報酬推定を別モジュールでなく生成器に結合。 - 閉ループ: 洗練された世界モデルでVLAを反復post-trainingし、各改善ポリシーのrolloutを世界モデルのfine-tuneに還元。

4. どうやって有効だと検証した?

シミュレーションと実ロボット実験の両方で検証。 - World-VLA-LoopはVLA性能を大幅に改善。 - 高コストな物理インタラクションへの依存を低減。 - 具体的なベースラインや指標は要旨からは不明。

5. 議論はある?

要旨からは不明。 - 限界や失敗ケース、計算コスト、実世界への一般化可能性についての議論は記述されていない。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。 - 関連手法として、action-conditioned video world model、VLAポリシーのbehavior cloning、強化学習 (RL) が挙げられる。 - 同分野の定番として、Vision-Language-Actionモデル、diffusion-based world model、model-based RLが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaokang Liu, Zechen Bai, Hai Ci, Kevin Yuchen Ma, Mike Zheng Shou

分類: cs.RO

原文アブストラクト

Reinforcement learning (RL) can refine Vision-Language-Action (VLA) policies beyond behavior cloning, but real-world RL remains expensive due to extensive rollouts, resets, supervision, and safety risks. Action-conditioned video world models offer an option to train in virtual environments, yet they exhibit imprecise action following, particularly on subtle near-success failures. Besides, they lack native reward signals for RL. Computing rewards based on inaccurate visual predictions remain unreliable. We introduce World-VLA-Loop, structured around two foundational designs and a higher-level co-evolving paradigm. We first curate SANS, dedicatedly mixing successful and near-success trajectories to improve action-outcome alignment. Then, we train a state-aware video world model that jointly predicts future frames and binary rewards from diffusion latents. It couples reward estimation to the generator rather than a separate module, and in turn, benefits visual prediction. Since VLA behavior shifts during RL, a fixed simulator can misalign with the updated policy, World-VLA-Loop therefore closes the loop by using the refined world model for iterative VLA post-training while feeding rollouts from each improved policy back to augment and fine-tune the world model. Across simulation and real-robot experiments, World-VLA-Loop substantially improves VLA performance while reducing reliance on costly physical interaction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI