日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/強化学習arXiv:2607.19399

大規模視覚言語行動モデルにおける効率的かつ汎用的な強化学習のためのオフライン教師信号の活用

Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

オフライン教師信号を強化学習に組み込むことで、OOD性能を保ちつつ学習効率を約2倍に向上させるハイブリッド手法を提案・評価した。

詳しい要約

1. どんなもの?

本論文は、大規模Vision-Language-Action (VLA)モデルにおける強化学習(RL)の訓練効率とOOD汎化性能の両立を目指し、オフライン教師信号(オフラインデータまたはオフライン学習済み参照ポリシー)で正則化したハイブリッドなオフライン-オンラインRL手法を提案・評価する研究である。

2. 先行研究と比べてどこがすごい?

従来研究では、オンラインRLはオフライン手法(模倣学習など)より優れたOOD性能を示すが、訓練コストが高い。一方、オフライン訓練(SFT)は効率的だがOOD性能が限定的。本論文は、両者の利点を組み合わせるハイブリッド手法を体系的に比較し、OOD性能を維持しつつ訓練予算を約半分に削減できることを示した点が新しい。

3. 技術・手法の肝は?

手法の肝は、オフライン教師信号をRLに組み込む正則化手法。具体的には、(1)オフラインデータをRLの更新に併用する方法と、(2)オフライン学習済み参照ポリシーとのKL距離などをペナルティとしてRLに追加する方法の2種類を検討している。これにより、オンライン探索のOOD性能向上効果を保ちながら、オフライン知識で学習を安定化・高速化する。

4. どうやって有効だと検証した?

OODベンチマークを用いて、オフライン訓練のみ、標準RL、および提案するハイブリッド手法(オフライン教師信号で正則化したRL)を比較した。その結果、ハイブリッド手法は標準RLに近いOOD性能を達成しつつ、訓練予算を約半分に削減できることを示した。また、IND性能についても評価している。

5. 議論はある?

要旨からは、ハイブリッド手法がOOD性能と訓練効率のトレードオフを生まず、両方を改善する点が強調されている。しかし、具体的な性能数値や他の手法との詳細な比較、限界(例えば、オフライン教師信号の質や規模の影響)については要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されているOODベンチマークを導入した先行研究(RL-trained VLA policiesがSFTより優れることを示した研究)が次に読むべき論文と考えられる。また、関連手法として、オフラインRLやRLHF(Reinforcement Learning from Human Feedback)における参照ポリシー正則化(例: PPO-kl)も挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dmitriy Poyarkov, Aleksei Staroverov, Aleksandr I. Panov

分類: cs.LG, cs.AI, cs.CV

原文アブストラクト

It is commonly observed that online reinforcement learning (RL) produces better-performing strategies than offline methods across a broad range of performance measures. In particular, RL-trained policies exhibit stronger out-of-distribution (OOD) behavior, where models trained only with imitation learning approaches often struggle. A recent study introduced an OOD-focused benchmark and reported that RL-trained vision-language-action (VLA) policies achieve noticeably better OOD performance and slightly better in-distribution (IND) performance than their counterparts trained with supervised fine-tuning (SFT). In this work, we investigate whether hybrid offline-online training can combine the advantages of both approaches. Specifically, we study RL methods regularized by offline supervision via either offline data or an offline-trained reference policy. We evaluate these approaches on the OOD benchmark and compare them with both offline-only training and standard RL. Our results show that although offline training achieves limited OOD performance by itself, incorporating offline supervision into RL preserves strong OOD capability while substantially improving training efficiency. In particular, the guided methods reach performance close to that of standard RL while requiring roughly half of the training budget. Rather than producing a trade-off between speed and OOD performance, the hybrid approach retains strong OOD capability while achieving this efficiency gain. Project page: https://alstar8.github.io/offline-supervision-vla-rl

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI