日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.26991

RL^2-VLA: テスト時スケーリングによる適応的RL潜在構成ステアリングと視覚言語行動モデル

RL$^2$-VLA: Adaptive RL Latent Compositional Steering with Test-Time Scaling for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルの性能低下を改善するため、オフラインRLで学習した軽量ポリシーをVLAの潜在表現に基づいて構成し、失敗が予測される時のみ介入する適応的推論時ステアリング手法を提案した。

詳しい要約

1. どんなもの?

RL^2-VLAは、Vision-Language-Action (VLA)モデルの推論時適応的ステアリングフレームワーク。オフライン強化学習(RL)ポリシーをVLAの潜在表現に基づいて訓練し、凍結したVLAのフロー速度と合成する。失敗が予測される場合のみステアリングを活性化し、成功時にはベースポリシーの動作を乱さない。SIMPLERとPolaRiSベンチマークで評価し、実世界実験も行う。

2. 先行研究と比べてどこがすごい?

従来のtest-time steering/scaling法は、行動サンプルが類似した挙動に集中し相関した失敗モードを継承する問題があった。また、全タイムステップで同じ介入戦略を適用し、ベースポリシーが成功しそうな場合でも不必要に摂動を与えていた。RL^2は、オフラインRLによる行動多様性を導入し、失敗予測時のみステアリングを適用することで、これらの限界を克服する。

3. 技術・手法の肝は?

手法の肝は、(1) VLA action expertから抽出した表現的な潜在表現に条件付けられた軽量オフラインRLポリシーを訓練し、推論時に凍結VLAのフロー速度と合成するcompositional steering。(2) 推論時ステアリングが成功状態と失敗状態で異なるスケーリング則に従うという発見に基づき、失敗が予測された時のみステアリングを活性化する適応的メカニズム。

4. どうやって有効だと検証した?

SIMPLERとPolaRiSベンチマークで、out-of-domain設定において成功率を最大+17.3%向上。アブレーションとスケーリング研究により、潜在表現とRL訓練の重要性を示した。さらに実世界実験でシミュレーションを超えた転移を実証。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明。ただし、ステアリングが失敗予測に依存するため、失敗予測の精度が性能に影響する可能性が示唆されるが、詳細は不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、test-time steering and scaling methods、Vision-Language-Action (VLA) models、offline RL、compositional steering、SIMPLER and PolaRiS benchmarksが挙げられる。具体的な論文名は不明だが、これらの分野の定番論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Derek Ming Siang Tan, Shailesh Shailesh, Srikrishna Iyer, William Wei Jie Teo, Yuanliang Ju, Qiao Gu, Guillaume Sartoretti

分類: cs.RO

原文アブストラクト

Despite the impressive visuomotor capabilities enabled by Vision-Language-Action (VLA) models, their performance often degrades on challenging and out-of-domain tasks. Recent test-time steering and scaling methods improve performance without extensive data collection and retraining, but action samples often remain concentrated around similar behaviors and therefore inherit correlated failure modes. Moreover, existing methods apply the same intervention strategy at every timestep, regardless of whether the base policy is already likely to succeed. To address these limitations, we introduce $RL^2$, an adaptive inference-time steering framework that leverages Reinforcement Learning on VLA Latents. First, we train a lightweight offline RL policy conditioned on expressive latents extracted from the VLA action expert and compose its flow velocity with that of the frozen VLA during inference. This compositional steering strategy combines the behavioral priors of large-scale imitation learning with the action diversity induced by offline RL beyond dominant demonstration modes. We further discover that inference-time steering follows fundamentally different scaling laws under success and failure states, revealing that action diversity is most beneficial when the base VLA is likely to fail, but can unnecessarily perturb already-accurate actions when success is likely. Building on this insight, $RL^2$ activates compositional steering only when failure is predicted. Across the SIMPLER and PolaRiS benchmarks, $RL^2$ improves success rates by up to +17.3% in out-of-domain settings, while ablations and scaling studies demonstrate the importance of latent representations and RL training. Finally, real-world experiments demonstrate that these gains transfer beyond simulation, establishing $RL^2$ as a practical and modular steering framework for VLA deployment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI