日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.19752

人間のデモを超えて:VLA学習用データを生成する拡散ベース強化学習

Beyond Human Demonstrations: Diffusion-Based Reinforcement Learning to Generate Data for VLA Training

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルを用いた強化学習で高品質・低分散な軌道を生成し、人間のデモなしでVLAモデルを学習させる手法を提案。LIBEROベンチマークで人間データやガウスRLより高い成功率を達成。

詳しい要約

1. どんなもの?

- VLA (Vision-Language-Action) モデル訓練用のデータを、人間のデモンストレーションに頼らず生成する手法の提案 - 拡散モデルベースの強化学習 (diffusion RL) を改良した diffusion policy optimization アルゴリズム - 生成した軌道データで VLA を訓練するパイプライン全体を提示 - LIBERO benchmark (130 の long-horizon manipulation タスク) で評価

2. 先行研究と比べてどこがすごい?

- 従来の VLA は大規模な human demonstrations に依存し、収集コストがスケーラビリティの制約 - 通常の RL は sparse rewards の long-horizon manipulation で苦戦 - 提案法は Gaussian RL policy や human demonstrations より滑らかで一貫性の高い軌道を生成 - VLA 成功率 81.9% で、human data 訓練を +5.3%、Gaussian RL data 訓練を +12.6% 上回る

3. 技術・手法の肝は?

- 修正版 diffusion policy optimization アルゴリズムを提案 - diffusion model の高い表現力で複雑・多様な行動を探索 - iterative denoising 過程の暗黙的正則化により滑らかで一貫したデモを生成 - 生成軌道を VLA 訓練データとして用いる diffusion RL-powered pipeline

4. どうやって有効だと検証した?

- LIBERO benchmark の 130 long-horizon manipulation タスクで評価 - 生成軌道の滑らかさ・一貫性を human demonstrations および標準 Gaussian RL policies と比較 - diffusion RL 生成データのみで訓練した VLA の成功率を測定し、human data 訓練・Gaussian RL data 訓練と比較

5. 議論はある?

- 要旨からは不明(限界や失敗ケース、計算コスト等の議論は記載なし) - 示唆として、diffusion RL が高品質・低分散デモ生成の有効な代替になり得ると主張

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられている標準的な Gaussian RL policies 関連研究 - human demonstrations を用いる既存 VLA 研究 - LIBERO benchmark を提案した研究 - diffusion policy および diffusion RL の基礎研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rushuai Yang, Hangxing Wei, Ran Zhang, Zhiyuan Feng, Xiaoyu Chen, Tong Li, Chuheng Zhang, Li Zhao, Jiang Bian, Xiu Su, Yi Chen

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models have shown strong generalization across tasks and embodiments; however, their reliance on large-scale human demonstrations limits their scalability owing to the cost and effort of manual data collection. Reinforcement learning (RL) offers a potential alternative to generate demonstrations autonomously, yet conventional RL algorithms often struggle on long-horizon manipulation tasks with sparse rewards. In this paper, we propose a modified diffusion policy optimization algorithm to generate high-quality and low-variance trajectories, which contributes to a diffusion RL-powered VLA training pipeline. Our algorithm benefits from not only the high expressiveness of diffusion models to explore complex and diverse behaviors but also the implicit regularization of the iterative denoising process to yield smooth and consistent demonstrations. We evaluate our approach on the LIBERO benchmark, which includes 130 long-horizon manipulation tasks, and show that the generated trajectories are smoother and more consistent than both human demonstrations and those from standard Gaussian RL policies. Further, training a VLA model exclusively on the diffusion RL-generated data achieves an average success rate of 81.9%, which outperforms the model trained on human data by +5.3% and that on Gaussian RL-generated data by +12.6%. The results highlight our diffusion RL as an effective alternative for generating abundant, high-quality, and low-variance demonstrations for VLA models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI