日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.18532

生成3D世界によるロボットVLAのSim-to-Real強化学習のスケーリング

Scaling Sim-to-Real Reinforcement Learning for Robot VLAs with Generative 3D Worlds

シェア:XThreadsFacebookLINEはてブBluesky

生成3Dモデルと言語駆動シーン設計で多様なシミュレーション環境を自動生成し、VLAモデルの強化学習をスケールさせて実世界への転移性能を大幅に向上させた。

詳しい要約

1. どんなもの?

- 大規模 VLM を RL で訓練する成功に触発され、ロボティクスにおける VLA モデルの fine-tuning に同様のアプローチが注目されている。 - 多くの最近の研究は sim-to-real gap を避けるため実世界で VLA を直接 fine-tune するが、実世界では scene と object の多様性を拡大することが困難で、汎用に pretrain されたモデルが過学習した scene 固有の policy に変質するという逆説的な結果を招く。 - シミュレーションでの訓練は多様な scene を提供できるが、その設計も高コストである。 - 本研究は 3D world generative models を活用し、言語駆動の scene designer と組み合わせることで、RL fine-tuning を汎用性を犠牲にせず低労力で行えることを示す。 - 数百の多様でインタラクティブな scene を生成し、スケーラブルで高度に並列な policy learning を可能にする。

2. 先行研究と比べてどこがすごい?

- 実世界 RL は sim-to-real 問題を回避できるが、物理世界での scene と object の多様性拡大が困難なため、pretrain された汎用モデルが scene 固有の policy に過学習する問題があった。 - シミュレーション訓練は多様な scene を提供できるが、その設計コストが高いという課題があった。 - 本研究は 3D world generative models と言語駆動 scene designer を組み合わせ、低労力で数百の多様なインタラクティブ scene を生成することで、これらの課題を同時に解決する。 - これにより、汎用性を維持しつつ RL fine-tuning が可能となり、シミュレーション成功率を 9.7% から 79.8% へ向上させ、タスク完了時間を 1.25 倍高速化した。 - さらに sim-to-real transfer を成功させ、実世界成功率を 21.7% から 75% へ改善し、1.13 倍の高速化を達成した。

3. 技術・手法の肝は?

- 3D world generative models を活用して、多様なインタラクティブ scene を生成する。 - 言語駆動の scene designer を用いて、ユニークな object と background を含む数百の scene を自動生成する。 - 生成された scene 上で VLA モデルを RL fine-tuning する。 - 生成された digital twins の品質と domain randomization により sim-to-real transfer を実現する。 - シミュレーション内でスケーラブルかつ高度に並列な policy learning を可能にする。

4. どうやって有効だと検証した?

- シミュレーション成功率が 9.7% から 79.8% に向上し、タスク完了時間が 1.25 倍高速化した。 - 実世界成功率が 21.7% から 75% に向上し、1.13 倍の高速化を達成した。 - アブレーション研究により、scene の多様性を増やすと zero-shot generalization が直接改善することを示した。 - これらの結果から、3D world generative models からの事実上無制限のデータ活用の利点を強調している。

5. 議論はある?

- 実世界 RL は sim-to-real 問題を回避するが、scene と object の多様性拡大が困難で、pretrain されたモデルが過学習するという逆説的な結果を招く。 - シミュレーション訓練は多様な scene を提供できるが、設計コストが高い。 - 本研究は 3D world generative models と言語駆動 scene designer により、これらの課題を低労力で解決できることを示した。 - 生成された digital twins の品質と domain randomization が sim-to-real transfer を可能にする。 - アブレーション研究から、scene の多様性増加が zero-shot generalization を直接改善することが示された。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、VLA モデルの fine-tuning に関する研究、sim-to-real transfer に関する研究、3D world generative models に関する研究、domain randomization に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andrew Choi, Xinjie Wang, Zhizhong Su, Wei Xu

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

The strong performance of large vision-language models (VLMs) trained with reinforcement learning (RL) has motivated similar approaches for fine-tuning vision-language-action (VLA) models in robotics. Many recent works fine-tune VLAs directly in the real world to avoid addressing the sim-to-real gap. While real-world RL circumvents sim-to-real issues, it inherently limits the generality of the resulting VLA, as scaling scene and object diversity in the physical world is prohibitively difficult. This leads to the paradoxical outcome of transforming a broadly pretrained model into an overfitted, scene-specific policy. Training in simulation can instead provide access to diverse scenes, but designing those scenes is also costly. In this work, we show that VLAs can be RL fine-tuned without sacrificing generality and with reduced labor by leveraging 3D world generative models. Using these models together with a language-driven scene designer, we generate hundreds of diverse interactive scenes containing unique objects and backgrounds, enabling scalable and highly parallel policy learning. Starting from a pretrained imitation baseline, our approach increases simulation success from 9.7% to 79.8% while achieving a 1.25$\times$ speedup in task completion time. We further demonstrate successful sim-to-real transfer enabled by the quality of the generated digital twins together with domain randomization, improving real-world success from 21.7% to 75% and achieving a 1.13$\times$ speedup. Finally, we further highlight the benefits of leveraging the effectively unlimited data from 3D world generative models through an ablation study showing that increasing scene diversity directly improves zero-shot generalization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI