日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/強化学習arXiv:2606.29892

本能を信じよ:視覚言語行動モデルのための信頼度駆動型テスト時強化学習

Trust Your Instincts: Confidence-Driven Test-Time RL for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデル(VLA)が内部の評価能力を持ち、高信頼度の軌道が成功しやすいことを利用し、外部報酬なしで自己改善するテスト時強化学習フレームワークT^2VLAを提案した。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language-Action Models (VLAs) のための test-time reinforcement learning (RL) フレームワーク T^2VLA を提案する。 - 外部環境からの報酬フィードバックを必要とせず、VLA モデル自身の内部評価能力を活用する。 - 離散行動をとる VLA では、生成信頼度 (generation confidence) が高い軌道ほど成功しやすいという観察に基づく。 - 軌道レベルの類似度を高信頼度の expert demonstrations に対する intrinsic reward として利用する。 - Confidence-Driven Dual Expert Bootstrapping 機構により、探索用の Local Pseudo-Expert と訓練安定性用の Global Expert Pool を動的にバランスさせる。 - LIBERO と RoboTwin ベンチマークで評価され、supervised baselines を上回り、oracle RL 性能に近づく。 - OpenV…

2. 先行研究と比べてどこがすごい?

- 既存の RL 手法は外部環境フィードバックや事前定義された成功信号に依存するのに対し、T^2VLA は外部報酬を必要としない。 - VLA モデルが持つ内部評価能力 (生成信頼度と成功率の相関) を利用する点が新しい。 - 軌道レベルの類似度を intrinsic reward として用いることで、自己ブートストラップ的なポリシー改善を実現する。 - 外部報酬なしで supervised baselines を上回り、oracle RL 性能に近づく点が優れている。 - アーキテクチャ非依存であり、OpenVLA-OFT や pi シリーズなど複数の VLA パラダイムに適用可能。

3. 技術・手法の肝は?

- 離散行動 VLA において、生成信頼度が高い軌道は成功しやすいという観察を利用する。 - 軌道レベルの類似度を高信頼度 expert demonstrations と比較し、intrinsic reward を計算する。 - Confidence-Driven Dual Expert Bootstrapping 機構を導入する。 - Local Pseudo-Expert: 探索を担当。 - Global Expert Pool: 訓練の安定性を担当。 - これらを動的にバランスさせることで、自己ブートストラップ的なポリシー改善を実現する。 - 外部報酬に依存せず、test-time で RL を行う。

4. どうやって有効だと検証した?

- LIBERO と RoboTwin ベンチマークで実験を行った。 - T^2VLA は supervised baselines を一貫して上回った。 - また、ground-truth rewards を用いた oracle RL 性能に近づくことを示した。 - 外部報酬フィードバックなしで有効な改善を達成できることを確認した。 - OpenVLA-OFT と pi シリーズを含む異なる VLA パラダイムに適応できることを示した。

5. 議論はある?

- 要旨からは、手法の限界や失敗事例、計算コスト、スケーラビリティに関する議論は明示されていない。 - 外部報酬なしで oracle RL に近づくが、完全に一致するわけではない点は議論の余地がある。 - 生成信頼度と成功率の相関がどの程度一般的か、他の VLA やタスクへの適用可能性については要旨からは不明。 - 倫理面や実世界展開に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: oracle RL (ground-truth rewards を用いた RL)、supervised baselines。 - 関連手法: OpenVLA-OFT、pi シリーズ。 - 同分野の定番: Vision-Language-Action Models (VLAs)、imitation learning、reinforcement learning (RL)。 - ベンチマーク: LIBERO、RoboTwin。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siyao Chen, Jiakang Yuan, Jiaxin Wang, Tao Chen

分類: cs.RO, cs.AI

原文アブストラクト

Reinforcement learning (RL) has become indispensable for pushing Vision-Language-Action Models (VLAs) beyond static imitation learning. However, existing RL methods typically require external environmental feedback, relying on predefined success signals to guide policy updates. In this work, we show that VLA models possess useful internal evaluative capabilities: in discrete-action VLAs, trajectories with higher generation confidence are significantly more likely to succeed. Based on this observation, we introduce T^2VLA (Test-time VLA), an architecture-agnostic test-time RL framework that enables VLA models to achieve self-bootstrapping policy improvement. Instead of relying on external rewards, T^2VLA leverages trajectory-level similarity to high-confidence expert demonstrations as an intrinsic reward signal. In addition, we propose a Confidence-Driven Dual Expert Bootstrapping mechanism, which dynamically balances a Local Pseudo-Expert for exploration and a Global Expert Pool for training stability. Extensive experiments on the LIBERO and RoboTwin benchmarks show that T^2VLA consistently outperforms supervised baselines and approaches oracle RL performance with ground-truth rewards, achieving effective improvement without external reward feedback. Furthermore, T^2VLA adapts to distinct VLA paradigms, including both OpenVLA-OFT and the pi series.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI