日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.15937

ロボット実世界強化学習のための視覚-言語-行動-批評家モデル

A Vision-Language-Action-Critic Model for Robotic Real-World Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

大規模データで学習したVLAベースのプロセス報酬モデルVLACを提案し、報酬設計を不要にするとともに、実世界のマニピュレーション4タスクで成功率を約30%から約90%へ向上させた。

詳しい要約

1. どんなもの?

- ロボット実世界強化学習(real-world RL)向けの汎用 process reward model「VLAC」 - InternVL を基盤に構築 - 大規模で異種混合なデータセットで学習 - 入力: ペアの観測(pairwise observations)と言語ゴール - 出力: dense な progress delta と done signal - 単一モデルで critic と policy を統合し、prompt control で reward token と action token を交互生成 - 非同期の実世界 RL ループに組み込み、human-in-the-loop プロトコルと併用

2. 先行研究と比べてどこがすごい?

- 従来の実世界 RL は sparse で手作りの報酬と非効率な探索がボトルネック - VLAC はタスク固有の reward engineering を不要化 - 未見タスク・環境への one-shot in-context transfer を可能にする - 単一モデルで critic と policy を統合する点が特徴 - 具体的な先行研究名との定量比較は要旨からは不明

3. 技術・手法の肝は?

- InternVL を基盤とした process reward model - 大規模 heterogeneous データセットで学習 - vision-language データセットで知覚・対話・推論を強化 - robot および human の trajectory データで action 生成と progress 推定を接地 - 大量の negative および意味的に不一致なサンプルを構築し、無関係 prompt の拒否や regression/stagnation の検出を強化 - prompt control により reward token と action token を交互生成 - 非同期実世界 RL ループ内で graded human-in-the-loop protocol(offline demonstration replay、return and explore、human guided explore)を層状に適用

4. どうやって有効だと検証した?

- 4 つの異なる実世界 manipulation タスクで評価 - 約 200 エピソードの実世界インタラクションで成功率を約 30% から約 90% へ向上 - human-in-the-loop 介入を加えると sample efficiency がさらに 50% 改善し、最終成功率は最大 100% に到達 - 具体的なベースライン比較の詳細は要旨からは不明

5. 議論はある?

- human-in-the-loop の段階的プロトコルが探索加速と初期学習の安定化に寄与 - 単一モデルで critic と policy を統合する設計の利点と限界 - negative/不一致サンプルによる拒否・regression 検出の効果 - 制限や失敗事例、一般化の範囲については要旨からは不明

6. 次に読むべき論文は?

- InternVL(基盤 VLA/vision-language model) - VLA モデル全般の実世界 RL 応用研究 - process reward model および dense reward 設計の関連研究 - human-in-the-loop RL や実世界ロボット RL の定番手法(詳細な参照論文は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shaopeng Zhai, Qi Zhang, Tianyi Zhang, Fuxian Huang, Haoran Zhang, Ming Zhou, Shengzhe Zhang, Litao Liu, Sixu Lin, Jiangmiao Pang

分類: cs.RO, cs.AI

原文アブストラクト

Robotic real-world reinforcement learning (RL) with vision-language-action (VLA) models is bottlenecked by sparse, handcrafted rewards and inefficient exploration. We introduce VLAC, a general process reward model built upon InternVL and trained on large scale heterogeneous datasets. Given pairwise observations and a language goal, it outputs dense progress delta and done signal, eliminating task-specific reward engineering, and supports one-shot in-context transfer to unseen tasks and environments. VLAC is trained on vision-language datasets to strengthen perception, dialogic and reasoning capabilities, together with robot and human trajectories data that ground action generation and progress estimation, and additionally strengthened to reject irrelevant prompts as well as detect regression or stagnation by constructing large numbers of negative and semantically mismatched samples. With prompt control, a single VLAC model alternately generating reward and action tokens, unifying critic and policy. Deployed inside an asynchronous real-world RL loop, we layer a graded human-in-the-loop protocol (offline demonstration replay, return and explore, human guided explore) that accelerates exploration and stabilizes early learning. Across four distinct real-world manipulation tasks, VLAC lifts success rates from about 30\% to about 90\% within 200 real-world interaction episodes; incorporating human-in-the-loop interventions yields a further 50% improvement in sample efficiency and achieves up to 100% final success.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI