日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/データ生成/sim2realarXiv:2605.30957

RDGen: 強化学習による高品質ロボット学習のためのデモ生成

RDGen: Demonstration Generation for High-Quality Robot Learning via Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

強化学習で訓練したポリシーを軌道生成器として使い、シミュレーションから実機への転移で高品質なデモデータを自動生成し、VLAモデルの学習を向上させる手法を提案した。

詳しい要約

1. どんなもの?

VLAモデルの学習に必要な高品質なロボット軌道データを、人間のテレオペレーションに頼らず生成する枠組み「RDGen」を提案した研究。 - シミュレーションから実機へ転移した強化学習ポリシーを軌道生成器として利用する。 - 生成したロールアウトをデモンストレーションとして収集し、下流のVLA学習に用いる。 - 対象タスクはpick-and-place。

2. 先行研究と比べてどこがすごい?

従来のロボット学習データは主に人間のテレオペレーションで収集され、労力・コストが大きくスケールしにくい。 - RDGenはRL生成デモを用いることで、人間のテレオペレーションと比較して有意に滑らかな軌道を生成する。 - 下流のVLA性能も優れており、より信頼性が高く一貫した教師信号となることを示す。 - シミュレーション段階で追加軌道を低い限界コストでスケーラブルに供給できる点も利点。

3. 技術・手法の肝は?

VLMベースのタスクパーサでタスク関連物体を特定する。 - Grounding DINOベースの物体ローカライザを備える。 - シミュレーションから実機へ転移したRLポリシーを軌道生成に用いる。 - 成功したロールアウトをクリーンな高品質デモとして収集し、下流VLA学習に利用する。 - シミュレーション段階は追加軌道のスケーラブルな供給源にもなる。

4. どうやって有効だと検証した?

pick-and-placeタスクで実験を実施。 - 転移したRLポリシーが高いタスク成功率を達成することを示した。 - 人間のテレオペレーションと比較し、RDGenが有意に滑らかな軌道を生成することを確認。 - 下流のVLA性能が優れることを示した。

5. 議論はある?

RL生成デモがロボットポリシー学習にとってより信頼性が高く一貫した教師信号になり得ると結論づけている。 - 具体的な限界や失敗事例、他のタスクへの一般化可能性については要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究として、VLAモデル、人間のテレオペレーションによるデータ収集、Grounding DINO、VLMベースのタスクパーサ、sim-to-real強化学習が挙げられる。 - 同分野の定番として、VLAモデル(例: RT-2, OpenVLAなど)やロボットデモンストレーション学習に関する研究が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zijian Zhu, Menglin Zou, Zhuang Li, Yaojie Tu, Xinhai Sun

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have emerged as a promising paradigm for general-purpose robot control. However, their performance remains fundamentally constrained by the availability of high-quality robot trajectory data. In current robot learning practice, such data are primarily collected through human teleoperation, which is labor-intensive, costly, and difficult to scale. In this paper, we propose RDGen, a sim-to-real reinforcement learning framework for generating high-quality robot demonstrations. Rather than employing reinforcement learning solely as the final control policy, RDGen leverages trained RL policies as a structured trajectory generator. The system consists of a VLM-based task parser that identifies task-relevant objects, a Grounding DINO-based object localizer, and an RL policy transferred from simulation to the real robot. Successful rollouts are then harvested as clean, high-quality demonstrations for downstream VLA training, while the simulation stage further provides a scalable source of additional trajectories at little marginal cost. Experiments on a pick-and-place task demonstrate that the transferred RL policy achieves a high task success rate. Compared with human teleoperation, RDGen produces significantly smoother trajectories and yields superior downstream VLA performance. These results indicate that RL-generated demonstrations can serve as more reliable and consistent supervisory signals for robot policy learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI