日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.28730

SOLE-R1: ビデオ言語推論を唯一の報酬とするオンボット強化学習

SOLE-R1: Video-Language Reasoning as the Sole Reward for On-Robot Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

ビデオと言語目標からタスク進捗を推論するモデルSOLE-R1を開発し、これを唯一の報酬としてロボットが未見の操作タスクをゼロショットで強化学習できるようにした。

詳しい要約

1. どんなもの?

- オンライン強化学習 (RL) の唯一の報酬信号として機能する video-language reasoning model「SOLE-R1 (Self-Observing LEarner)」を提案。 - 生の video 観測と自然言語ゴールのみを入力とし、timestep ごとの spatiotemporal chain-of-thought (CoT) 推論を行い、タスク進捗の dense 推定値を報酬として出力する。 - 4つの simulation 環境と実機設定で、random 初期化からの zero-shot オンライン RL を可能にし、未見の manipulation タスクを ground-truth 報酬・成功指標・demonstration・タスク固有チューニングなしで学習できる。

2. 先行研究と比べてどこがすごい?

- 既存の最強 VLM を RL の evaluator として使うと、partial observability や distribution shift 下で失敗し、policy が知覚誤りを exploit してタスクを解かない問題があった。 - SOLE-R1 は 24 の未見タスクで成功し、Robometer, RoboReward, ReWiND, GPT-5, Gemini-3-Pro などの強力な vision-language rewarder を大幅に上回る。 - reward hacking に対する堅牢性が著しく高い点が先行研究と比べて優れている。

3. 技術・手法の肝は?

- 生の video 観測と自然言語ゴールから、timestep ごとの spatiotemporal chain-of-thought (CoT) 推論を実行し、dense なタスク進捗推定を報酬として生成する。 - 大規模な video trajectory と reasoning 合成 pipeline を開発し、連続的な進捗 supervision に整合した時間的に grounded な CoT trace を生成する。 - このデータを基礎的な spatial および multi-frame temporal reasoning と組み合わせ、supervised fine-tuning と verifiable rewards からの RL を組み合わせた hybrid framework でモデルを訓練する。

4. どうやって有効だと検証した?

- 4つの異なる simulation 環境と実機設定で評価。 - random 初期化からの zero-shot オンライン RL を実行し、ground-truth 報酬・成功指標・demonstration・タスク固有チューニングなしで未見 manipulation タスクを学習できることを示した。 - 24 の未見タスクで成功し、Robometer, RoboReward, ReWiND, GPT-5, Gemini-3-Pro などの強力な vision-language rewarder と比較して大幅に優れ、reward hacking への堅牢性も確認。

5. 議論はある?

- 要旨からは不明。 - ただし、partial observability や distribution shift 下での既存 VLM evaluator の失敗と reward hacking の問題が動機として述べられている。

6. 次に読むべき論文は?

- Robometer - RoboReward - ReWiND - GPT-5 - Gemini-3-Pro

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Philip Schroeder, Thomas Weng, Karl Schmeckpeper, Eric Rosen, Stephen Hart, Ondrej Biza

分類: cs.RO, cs.CL, cs.CV

原文アブストラクト

Vision-language models (VLMs) have shown impressive capabilities across diverse tasks, motivating efforts to leverage these models to supervise robot learning. However, when used as evaluators in reinforcement learning (RL), today's strongest models often fail under partial observability and distribution shift, enabling policies to exploit perceptual errors rather than solve the task. We introduce SOLE-R1 (Self-Observing LEarner), a video-language reasoning model explicitly designed to serve as the sole reward signal for online RL. Given only raw video observations and a natural-language goal, SOLE-R1 performs per-timestep spatiotemporal chain-of-thought (CoT) reasoning and produces dense estimates of task progress that can be used directly as rewards. To train SOLE-R1, we develop a large-scale video trajectory and reasoning synthesis pipeline that generates temporally grounded CoT traces aligned with continuous progress supervision. This data is combined with foundational spatial and multi-frame temporal reasoning, and used to train the model with a hybrid framework that couples supervised fine-tuning with RL from verifiable rewards. Across four different simulation environments and a real-robot setting, SOLE-R1 enables zero-shot online RL from random initialization: robots learn previously unseen manipulation tasks without ground-truth rewards, success indicators, demonstrations, or task-specific tuning. SOLE-R1 succeeds on 24 unseen tasks and substantially outperforms strong vision-language rewarders, including Robometer, RoboReward, ReWiND, GPT-5, and Gemini-3-Pro, while exhibiting markedly greater robustness to reward hacking. We release all models, data, code, and demos at the anonymous page: https://philip-mit.github.io/sole-r1/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI