日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/残差RL/sim2realarXiv:2606.18953

オブジェクト中心残差強化学習によるゼロショットSim-to-Real VLA性能向上

Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションのみで訓練した残差強化学習ポリシーを、オブジェクトの姿勢情報を用いて実世界のVLAモデルに重ねることで、ゼロショットでロボット操作の成功率を大幅に向上させる手法を提案した。

詳しい要約

1. どんなもの?

VLAモデルの模倣学習ポリシーは精密な物理操作で誤差が蓄積し脆い。本研究は、シミュレーションのみで訓練したresidual RLポリシーにより、実世界VLAをzero-shotで強化するobject-centric residual RLフレームワークを提案する。object poseを観測に用いることでコンパクトな観測空間を実現し、sim-to-real転移を可能にする。実機Franka Research 3 (FR3)での5つのmanipulationタスクで成功率を42%から76%へ改善し、改善されたrolloutをbase VLAの再訓練に再利用して自己改善も可能とする。

2. 先行研究と比べてどこがすごい?

既存のresidual RLはsim-to-realのジレンマを抱える。privileged-state法は展開時に損失のあるdistillationを要し、image-based法はvisual domain gapに苦しみ、real-world RLは高コストで危険である。本研究はobject poseというコンパクトな観測空間を用いることで、これらの問題を回避しつつ一貫したsim-to-real転移を実現する点が優れている。

3. 技術・手法の肝は?

object-centric residual RLフレームワークを提案。VLAアクションをobject poseで補正する。観測空間をコンパクトにし、simとrealで一貫した転移を可能にする。ドメイン整合のため、同じteleoperationデモをシミュレーションでreplayし、実世界VLAのsim counterpartを訓練する。residual RLポリシーはシミュレーションのみでpose noise injectionとdropoutを用いて訓練され、zero-shotで実機に転移する。

4. どうやって有効だと検証した?

実機Franka Research 3 (FR3)ロボットでの5つのmanipulationタスクで検証。成功率が42%から76%へzero-shotで改善。さらに改善されたrolloutをbase VLAの再訓練に再利用し、追加のteleoperationなしで自己改善が可能であることを示した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

Residual RL、VLAモデル、sim-to-real転移、privileged-state法、image-based法、real-world RLに関する関連研究。具体的な論文名は要旨に記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kinam Kim, Namiko Saito, Heecheol Kim, Katsushi Ikeuchi, Jaegul Choo, Yasuyuki Matsushita

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models can generalize across diverse manipulation tasks, but their imitation-learning-based policies remain brittle in precise physical interactions due to compounding execution errors; Can a reinforcement learning policy trained purely in simulation improve the robustness of real-world VLAs zero-shot? Residual RL, which learns a corrective policy on top of a frozen VLA, offers a natural framework, but existing approaches face a fundamental sim-to-real dilemma: privileged-state methods require lossy distillation for deployment; image-based methods suffer from the visual domain gap; and real-world RL is costly and unsafe. We propose an object-centric residual RL framework that refines VLA actions using object poses, enabling a compact observation space that transfers consistently between simulation and reality. To align the two domains, we additionally replay the same teleoperation demonstrations in simulation to train a sim counterpart of the real-world VLA. The residual RL policy is trained only in simulation with pose noise injection and dropout, and transfers zero-shot to the real robot. Across five manipulation tasks on a real Franka Research 3 (FR3) robot, our method improves the success rate from 42% to 76% zero-shot, and the improved rollouts can be further reused to retrain the base VLA for self-improvement without additional teleoperation. Project page: https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI