日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.05994

VLA事後学習におけるデータ拡張の正しい使い方と落とし穴

How (and How Not) to Use Data Augmentation in VLA Post-Training

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルの強化学習による事後学習で、画像拡張はcriticにのみ適用しactorには適用しないことが重要だと示し、分布外タスクの成功率を改善する実践的な指針を提示した。

詳しい要約

1. どんなもの?

- VLAモデルのpost-trainingにおける画像augmentationの効果を系統的に研究 - RL更新時にcriticモジュールのみをaugmentし、actorの入力はrolloutと更新の両方でクリーンに保つことが重要と発見 - π_{0.5}とGR00T N1.5でout-of-distribution成功をLIBERO-Plusでそれぞれ7.8、10.0ポイント向上 - actorをaugmentすると訓練が完全に崩壊 - 様々なaugmentationタイプと強度を調査し、実用的な推奨を提供

2. 先行研究と比べてどこがすごい?

- 従来、VLAのpost-trainingにRLを用いるとrobustnessが向上することが示されていたが、改善の余地が大きかった - 本研究は画像augmentationの適用箇所(criticのみ vs actorも)が決定的に重要であることを初めて体系的に示した - 具体的に、criticのみのaugmentationでOOD成功が大幅に向上し、actorのaugmentationは訓練崩壊を引き起こすことを明らかにした

3. 技術・手法の肝は?

- VLAモデルのpost-trainingにRLを適用 - 画像augmentationをcriticモジュールのみに適用し、actorの入力はrollout時も更新時もクリーンに維持 - 様々なaugmentationタイプと強度を調査 - π_{0.5}とGR00T N1.5の2つのVLAモデルで検証

4. どうやって有効だと検証した?

- LIBERO-Plusベンチマークでout-of-distribution成功を評価 - π_{0.5}で7.8ポイント、GR00T N1.5で10.0ポイントの向上を確認 - actorをaugmentした場合の訓練崩壊も観察 - 複数のaugmentationタイプと強度を比較検討

5. 議論はある?

- 要旨からは不明(具体的な議論の内容は記載されていない) - ただし、actorのaugmentationが訓練崩壊を引き起こすという結果は、actorとcriticで異なるデータ処理が必要であることを示唆 - 実用的な推奨を提供すると述べられている

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:π_{0.5}、GR00T N1.5、LIBERO-Plus - 関連手法:VLA post-training with RL、image augmentation - 同分野の定番:Vision-Language-Action models、Reinforcement Learning from Human Feedback (RLHF) など

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bram Grooten, Joaquin Vanschoren

分類: cs.RO, cs.LG

原文アブストラクト

Vision-language-action (VLA) models currently demonstrate strong performance in a wide range of real-world robotics tasks. However, they often still lack the generalization ability to handle large visual out-of-distribution shifts. Post-training of VLAs with reinforcement learning (RL) has been shown to benefit robustness, but significant room for improvement remains. In this work, we systematically study the effect of image augmentation on VLA post-training. We find that it is crucial to augment only the critic module during RL updates, while leaving the actor's input clean during both rollouts and updates. For $π_{0.5}$ and GR00T N1.5 this raises out-of-distribution success on LIBERO-Plus by $7.8$ and $10.0$ points respectively, while augmenting the actor collapses training entirely. We investigate a range of augmentation types and strengths, and provide practical recommendations for improving generalization in VLA post-training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI