日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.19528

発見・学習・強化:多様なRL生成軌道による視覚-言語-行動事前学習のスケーリング

Discover, Learn, and Reinforce: Scaling Vision-Language-Action Pretraining with Diverse RL-Generated Trajectories

シェア:XThreadsFacebookLINEはてブBluesky

強化学習で多様な行動パターンを発見し、VLAモデルの事前学習用データを自動生成するフレームワークDLRを提案。標準RLより多様で高成功率の軌道を生成し、下流タスク性能とデータスケーリングを改善する。

詳しい要約

1. どんなもの?

- VLA model の事前学習向けに、RL で多様な manipulation trajectory を生成するデータエンジンを提案した研究。 - 名称は Discover, Learn and Reinforce (DLR)。 - 情報理論に基づく pattern discovery framework で、複数の異なる高成功率 behavioral pattern を生成する。 - 目的は大規模 VLA pretraining 用の多様・高品質 trajectory corpus の供給。

2. 先行研究と比べてどこがすごい?

- 従来のデータ源である human teleoperation は高コストでスケール困難。 - 標準的な RL は狭い実行パターンに collapse し、大規模 pretraining には不向き。 - DLR は同一タスクに対し複数の異なる高成功率戦略を学習し、state-action space のより広い領域をカバー。 - 同サイズの標準 RL データで学習した VLA を上回り、single-pattern RL に無い positive data-scaling を示す。

3. 技術・手法の肝は?

- 情報理論的な pattern discovery framework により、複数の distinct な behavioral pattern を発見・学習・強化する。 - 標準 RL が一つしか見つけない戦略に対し、複数の高成功率戦略を獲得させる仕組み。 - 具体的なアルゴリズム詳細や情報理論的目的関数の定式化は要旨からは不明。

4. どうやって有効だと検証した?

- LIBERO 上で DLR が標準 RL より顕著に多様な trajectory corpus を生成することを実証。 - 同一タスクで複数の distinct かつ高成功率な戦略を学習できることを確認。 - 未見の downstream task suite に適応した際、DLR データで pretrain した VLA が同サイズ標準 RL データの counterpart を上回ることを検証。 - DLR が positive data-scaling を示すことも確認。

5. 議論はある?

- 標準 RL の単一パターン collapse を多パターン化で克服できる可能性を示す。 - multi-pattern RL を embodied foundation model 向けの実用的・スケーラブルなデータエンジンと位置づけ。 - 多様性の定量指標、パターン数と品質のトレードオフ、他タスク・実機への一般化可能性は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられている標準 RL および human teleoperation によるデータ収集研究。 - 評価基盤として用いられた LIBERO 関連の VLA pretraining 研究。 - 関連手法として vision-language-action (VLA) model の事前学習研究全般。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rushuai Yang, Zhiyuan Feng, Tianxiang Zhang, Kaixin Wang, Chuheng Zhang, Li Zhao, Xiu Su, Yi Chen, Jiang Bian

分類: cs.RO, cs.AI

原文アブストラクト

Scaling vision-language-action (VLA) model pre-training requires large volumes of diverse, high-quality manipulation trajectories. Most current data is obtained via human teleoperation, which is expensive and difficult to scale. Reinforcement learning (RL) methods learn useful skills through autonomous exploration, making them a viable approach for generating data. However, standard RL training collapses to a narrow execution pattern, limiting its utility for large-scale pre-training. We propose Discover, Lea rn and Reinforce (DLR), an information-theoretic pattern discovery framework that generates multiple distinct, high-success behavioral patterns for VLA pretraining. Empirically, DLR generates a markedly more diverse trajectory corpus on LIBERO. Specifically, it learns multiple distinct, high-success strategies for the same task where standard RL discovers only one, and hence it covers substantially broader regions of the state-action space. When adapted to unseen downstream task suites, VLA models pretrained on our diverse RL data surpass counterparts trained on equal-sized standard RL datasets. Moreover, DLR exhibits positive data-scaling behavior that single-pattern RL lacks. These results position multi-pattern RL as a practical, scalable data engine for embodied foundation models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI