日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.17016

Vision-Language-Actionモデルのための対話型ポストトレーニング

Interactive Post-Training for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

疎な成功報酬のみを用いた強化学習ベースの対話型ポストトレーニング手法RIPT-VLAを提案し、VLAモデルの適応性と成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- 事前学習済み Vision-Language-Action (VLA) モデルを、疎な二値成功報酬のみで対話的に追加学習させる強化学習ベースの post-training パラダイム RIPT-VLA の提案 - 既存の VLA 学習は offline の専門家デモンストレーションと supervised imitation に依存 - 低データ状況での新規タスク・環境への適応を狙う - 軽量な QueST や 7B OpenVLA-OFT など複数の VLA モデルに適用可能と主張

2. 先行研究と比べてどこがすごい?

- 既存 VLA 学習は offline expert demonstration と supervised imitation に強く依存し、低データでの適応が制限されていた - RIPT-VLA は疎な二値成功報酬のみで interactive post-training を可能にする点が異なる - デモ1件のみで SFT モデル(4%)を15 iteration 以内に97%成功へ改善 - QueST を21.2%改善、7B OpenVLA-OFT を97.5%成功率に到達させたと報告

3. 技術・手法の肝は?

- 強化学習ベースの interactive post-training - 安定した policy optimization algorithm を採用 - dynamic rollout sampling と leave-one-out advantage estimation が肝 - 報酬は疎な二値成功報酬のみを使用 - 事前学習済み VLA モデルを fine-tune する枠組み

4. どうやって有効だと検証した?

- QueST で21.2%改善、7B OpenVLA-OFT で97.5%成功率を達成 - デモ1件のみの設定で、SFT モデルの4%成功を15 iteration 以内に97%へ改善 - 学習された policy が異なるタスク・シナリオへ汎化し、初期状態コンテキストに対して頑健であることを示した - 具体的なベンチマーク名や評価プロトコルは要旨からは不明

5. 議論はある?

- 計算効率・データ効率が良く、最小限の supervision で実用的な post-training が可能と主張 - 異なるタスク・シナリオへの汎化と初期状態への頑健性を報告 - 限界や失敗事例、報酬設計の感度、他手法との詳細比較は要旨からは不明 - 評価環境の多様性や実機での検証範囲は要旨からは不明

6. 次に読むべき論文は?

- QueST - OpenVLA-OFT - VLA モデル全般(OpenVLA 系) - supervised fine-tuning (SFT) ベースの imitation learning - 強化学習による policy optimization(advantage estimation 関連手法)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuhan Tan, Kairan Dou, Yue Zhao, Philipp Krähenbühl

分類: cs.LG, cs.AI, cs.CV, cs.RO

原文アブストラクト

We introduce RIPT-VLA, a simple and scalable reinforcement-learning-based interactive post-training paradigm that fine-tunes pretrained Vision-Language-Action (VLA) models using only sparse binary success rewards. Existing VLA training pipelines rely heavily on offline expert demonstration data and supervised imitation, limiting their ability to adapt to new tasks and environments under low-data regimes. RIPT-VLA addresses this by enabling interactive post-training with a stable policy optimization algorithm based on dynamic rollout sampling and leave-one-out advantage estimation. RIPT-VLA has the following characteristics. First, it applies to various VLA models, resulting in an improvement on the lightweight QueST model by 21.2%, and the 7B OpenVLA-OFT model to an unprecedented 97.5% success rate. Second, it is computationally efficient and data-efficient: with only one demonstration, RIPT-VLA enables an unworkable SFT model (4%) to succeed with a 97% success rate within 15 iterations. Furthermore, we demonstrate that the policy learned by RIPT-VLA generalizes across different tasks and scenarios and is robust to the initial state context. These results highlight RIPT-VLA as a practical and effective paradigm for post-training VLA models through minimal supervision.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI