日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.02454

World-Gymnast: 世界モデル内での強化学習によるロボット訓練

World-Gymnast: Training Robots with Reinforcement Learning in a World Model

シェア:XThreadsFacebookLINEはてブBluesky

実世界の動画と行動データから学習した世界モデル内でVLA方針を強化学習し、実機性能で教師あり学習やシミュレータを上回ることを示した。

詳しい要約

1. どんなもの?

- 物理世界でのロボット学習は物理インタラクションのコストがボトルネック。 - 代替として、専門家デモからのSFTとソフトウェアシミュレータでのRLがあるが、それぞれ専門家データ量とsim-to-realギャップに制限。 - 実世界のvideo-actionデータから学習したworld model内でポリシーを訓練するWorld-Gymnastを提案。 - VLAポリシーをaction-conditioned video world model内でロールアウトし、VLMで報酬付けしてRLファインチューニング。 - Bridgeロボット設定でSFTより最大18倍、ソフトウェアシミュレータより最大2倍の性能。

2. 先行研究と比べてどこがすごい?

- 従来のSFTは専門家データ量に制限され、ソフトウェアシミュレータRLはsim-to-realギャップに悩まされる。 - World-Gymnastはworld model内でRLを行うことで、実世界ビデオから学習したモデルを使い、これらの制限を克服。 - Bridge設定でSFT比最大18倍、シミュレータ比最大2倍の実ロボット性能を達成。 - 多様な言語指示や新規シーンでの訓練、テスト時訓練、オンライン反復改善など、world modelを用いたRLの新能力を実証。

3. 技術・手法の肝は?

- 実世界のvideo-actionデータからaction-conditioned video world modelを学習。 - VLAポリシーをworld model内でロールアウトし、その結果をVLMで評価して報酬を生成。 - この報酬を用いてRLファインチューニングを実施。 - world modelとポリシーをオンラインで反復改善する仕組みも含む。

4. どうやって有効だと検証した?

- Bridgeロボット設定で実験を実施。 - SFTとソフトウェアシミュレータRLと比較し、World-GymnastがSFTより最大18倍、シミュレータより最大2倍優れることを示した。 - 多様な言語指示や新規シーンでの訓練、テスト時訓練、オンライン反復改善の能力も検証。

5. 議論はある?

- world model内でのRLが実ロボット性能向上に有効であることを示唆。 - クラウド上でのworld model学習とポリシー訓練が、デモで動作するロボットと家庭で動作するロボットのギャップを埋める鍵になり得ると議論。 - 具体的な限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: supervised finetuning (SFT), reinforcement learning (RL) in a software-based simulator, vision-language-action (VLA) policy, vision-language model (VLM), Bridge robot setup。 - 関連手法: world models, action-conditioned video world model, sim-to-real transfer。 - 同分野の定番: ロボット学習におけるRL, 模倣学習, シミュレータベースの訓練。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ansh Kumar Sharma, Yixiang Sun, Ninghao Lu, Yunzhe Zhang, Jiarao Liu, Sherry Yang

分類: cs.RO, cs.AI

原文アブストラクト

Robot learning from interacting with the physical world is fundamentally bottlenecked by the cost of physical interaction. The two alternatives, supervised finetuning (SFT) from expert demonstrations and reinforcement learning (RL) in a software-based simulator, are limited by the amount of expert data available and the sim-to-real gap for manipulation. With the recent emergence of world models learned from real-world video-action data, we ask the question of whether training a policy in a world model can be more effective than supervised learning or software simulation in achieving better real-robot performance. We propose World-Gymnast, which performs RL finetuning of a vision-language-action (VLA) policy by rolling out the policy in an action-conditioned video world model and rewarding the rollouts with a vision-language model (VLM). On the Bridge robot setup, World-Gymnast outperforms SFT by as much as 18x and outperforms software simulator by as much as 2x. More importantly, World-Gymnast demonstrates intriguing capabilities of RL with a world model, including training on diverse language instructions and novel scenes from the world model, test-time training in a novel scene, and online iterative world model and policy improvement. Our results suggest learning a world model and training robot policies in the cloud could be the key to bridging the gap between robots that work in demonstrations and robots that can work in anyone's household.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI