日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.18719

VLA-RL:スケーラブルな強化学習による汎用ロボットマニピュレーションの習得

VLA-RL: Towards Masterful and General Robotic Manipulation with Scalable Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みVLAモデルをオンライン強化学習で改善し、スパース報酬をVLMベースの報酬モデルで補うことで、LIBEROの40タスクで最高性能を達成した。

詳しい要約

1. どんなもの?

- 提案: VLA-RL は、事前学習済みの auto-regressive VLA を下流タスクで online reinforcement learning (RL) により改善するアルゴリズム的・体系的フレームワーク - 対象: ロボットマニピュレーション - 背景: 人間のデモンストレーションの模倣 (imitation) で学習した VLA は、offline data の visited states が限られるため out-of-distribution な状況で失敗する - 狙い: test time に online 収集データで探索的に改善する - 構成要素: trajectory-level RL formulation、robotic process reward model、安定性・効率化の実装工夫 - 評価: LIBERO の 40 タスクで検証

2. 先行研究と比べてどこがすごい?

- 先行: 高容量 VLA は人間デモの模倣で多くのマニピュレーションタスクに成果 - 限界: offline data は visited states が限られ、out-of-distribution で実行失敗 - 提案の違い: online RL を pretrained auto-regressive VLA の下流タスク改善に用いる体系的フレームワーク - 成果: OpenVLA-7B を最強の finetuned baseline より 4.5% 上回る (LIBERO の 40 難タスク) - 比較: 商用の先進モデル π0-FAST に匹敵 - 示唆: test-time optimization の増加で性能向上、robotics における inference scaling laws の萌芽

3. 技術・手法の肝は?

- 統一視点で trajectory-level RL formulation を導入し、auto-regressive VLA 学習に適用 - 一般的なロボットマニピュレーション軌道を multi-modal multi-turn conversation としてモデル化 - 疎報酬対策: pretrained vision-language model を robotic process reward model として fine-tune - 報酬ラベル: 自動抽出した task segments に注釈した pseudo reward labels で学習 - スケール化: curriculum selection strategy、GPU-balanced vectorized environments、batch decoding、critic warmup を実装上の知見として特定

4. どうやって有効だと検証した?

- ベンチマーク: LIBERO の 40 の難マニピュレーションタスクで評価 - 比較: OpenVLA-7B が最強の finetuned baseline を 4.5% 上回る - 比較: 商用先進モデル π0-FAST の性能に匹敵 - 観察: test-time optimization の増加に伴う性能向上を確認 - 主張: robotics における inference scaling laws の初期兆候

5. 議論はある?

- 利点: online RL により offline data の限界 (out-of-distribution 失敗) を緩和 - 課題: 疎報酬への対処として process reward model と pseudo reward labels を使用 - 安定性・効率: curriculum selection strategy 等の実装知見が重要と示唆 - スケーリング: test-time optimization 増加で性能向上、inference scaling laws の可能性 - 制約: 詳細な議論や限界は要旨からは不明

6. 次に読むべき論文は?

- OpenVLA-7B (提案が改善対象とする pretrained VLA) - π0-FAST (比較対象の商用先進モデル) - LIBERO (評価ベンチマーク) - robotic process reward model 関連の vision-language model 研究 - online reinforcement learning による VLA fine-tuning の関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guanxing Lu, Wenkai Guo, Chubin Zhang, Yuheng Zhou, Haonan Jiang, Zifeng Gao, Yansong Tang, Ziwei Wang

分類: cs.RO, cs.AI

原文アブストラクト

Recent high-capacity vision-language-action (VLA) models have demonstrated impressive performance on a range of robotic manipulation tasks by imitating human demonstrations. However, exploiting offline data with limited visited states will cause execution failure in out-of-distribution scenarios. Intuitively, an exploration-based method that improves on online collected data at test time could address this limitation. We present VLA-RL, an algorithmic and systematic framework that leverages online reinforcement learning (RL) to improve pretrained auto-regressive VLAs in downstream tasks. Within a unified perspective, we first introduce a trajectory-level RL formulation for auto-regressive VLA training, which models general robotic manipulation trajectory as multi-modal multi-turn conversation. To address the challenge of sparse rewards, we fine-tune a pretrained vision-language model as a robotic process reward model, which is trained on pseudo reward labels annotated on automatically extracted task segments. To scale up, we identify several implementation findings that improve the stability and efficiency including curriculum selection strategy, GPU-balanced vectorized environments, batch decoding, and critic warmup. VLA-RL enables OpenVLA-7B to surpass the strongest finetuned baseline by 4.5% on 40 challenging robotic manipulation tasks in LIBERO, and even matches the performance of advanced commercial models such as $\pi_0$-FAST. Notably, we observe that VLA-RL benefits from increased test-time optimization, indicating an early spark of inference scaling laws in robotics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI