日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.20633

予言による行動方策の強化学習

Reinforcing Action Policies by Prophesying

シェア:XThreadsFacebookLINEはてブBluesky

ロボット世界モデル「Prophet」を大規模データで事前学習し、新環境へ少数適応させてシミュレータとし、FlowScaleでVLA方策を強化学習する手法を提案。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) ポリシーの post-training 手法の提案 - imitation 学習の脆さを RL で補う枠組み - 学習済み world model 上で RL を行うことで実機コストを回避 - 構成要素は2つ - Prophet: action-to-video のロボット world model - FlowScale: flow-based action head 向けの RL 手続き - 目的は data efficiency と最適化安定性の両立

2. 先行研究と比べてどこがすごい?

- 従来 VLA は主に imitation 学習で、demonstration に過適合し distribution shift に弱い - RL は task reward を直接最適化できるが、実機対話は高コストで従来 sim は構築・転送が困難 - 本研究は実機でも従来 sim でもなく、学習された world model 上で RL を行う点が異なる - flow-based action head に特化した RL 手続きを用意した点も差分 - 具体的な prior 手法名への言及は要旨からは不明

3. 技術・手法の肝は?

- Prophet: 大規模で異種な robot data で事前学習する unified action-to-video world model - 再利用可能な action-outcome dynamics を学習 - 新規 robot・object・環境へ few-shot 適応し rollout 可能な simulator 化 - FlowScale: Flow-GRPO と intrinsic stepwise reweighting を組み合わせる - flow-based action head のための RL 手続き - 勾配を安定化させる狙い - 全体として world model 上での VLA post-training パイプライン

4. どうやって有効だと検証した?

- 公開ベンチマークで 5-17% の success 向上 - 実機ロボットで 24-30% の success 向上 - 多様な VLA backbone に対して評価 - 詳細なベースラインや実験設定は要旨からは不明

5. 議論はある?

- 主張は data- と compute-efficient な VLA post-training の実用経路の提供 - world model の few-shot 適応品質や sim-to-real ギャップへの言及は要旨からは不明 - FlowScale の安定化効果の限界や失敗事例は要旨からは不明 - 計算コストやスケーリング性の議論は要旨からは不明

6. 次に読むべき論文は?

- Flow-GRPO(FlowScale の構成要素として参照) - GRPO 系の RL 手法 - flow matching / flow-based action head に関する研究 - world model ベースのロボット学習(一般名として model-based RL) - VLA の post-training / RL fine-tuning に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiahui Zhang, Ze Huang, Chun Gu, Zipei Ma, Li Zhang

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) policies excel in aligning language, perception, and robot control. However, most VLAs are trained purely by imitation, which overfits to demonstrations, and is brittle under distribution shift. Reinforcement learning (RL) directly optimizes task reward and thus addresses this misalignment, but real-robot interaction is expensive and conventional simulators are hard to engineer and transfer. We address both data efficiency and optimization stability in VLA post-training via a learned world model and an RL procedure tailored to flow-based action heads. Specifically, we first introduce Prophet, a unified action-to-video robot world model pretrained on large-scale, heterogeneous robot data to learn reusable action-outcome dynamics and then few-shot adapted to new robots, objects, and environments, yielding a rollout-ready simulator. Upon Prophet, we reinforce action policies with our proposed FlowScale, which couples Flow-GRPO with intrinsic stepwise reweighting to stabilize gradients. Together, our solution provides a practical, data- and compute-efficient path to VLA post-training. Experiments show 5-17% success gains on public benchmarks and 24-30% on real robots across diverse VLA backbones.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI