強化学習/報酬学習2026/9/27arXiv:2609.33653

実演不要の成功率報酬学習による汎用ロボット方策

Demonstration-Free Success-Probability Reward Learning for Generalist Robot Policies

専門家の実演なしに、方策の試行錯誤から成功率をブートストラップで学習し、汎用ロボット方策の強化学習を効率化する手法を提案。

詳しい要約

1. どんなもの？

- 一般ist robot policy を RL で改善する際、sparse task reward がボトルネック。 - 既存の general-purpose reward model は expert demonstration から task progress を学習するが、policy optimization 中の mixed-quality rollouts と分布不一致を起こす。 - 本研究は demonstration-free reward learning を提案。 - sparse task outcomes と policy experience から dense reward feedback を直接学習。 - eVTA$_0$ と RL with Evolving Rewards (RLER) を導入。

2. 先行研究と比べてどこがすごい？

- 既存 reward model は expert demonstrations に依存し、suboptimal/failed behaviors で推定が unreliable。 - 本研究は expert demonstrations や intermediate annotations を不要とする。 - terminal task outcomes が intermediate timesteps の dense success-probability feedback を暗黙に定義することを理論的に示す。 - mixed-quality policy rollouts から bootstrapping で学習可能。 - 同一 RL training budget で LIBERO task suites の平均 policy performance が最良。

3. 技術・手法の肝は？

- terminal task outcomes が intermediate timesteps の dense success-probability feedback を暗黙に定義することを理論的に示す。 - これを recursive に bootstrapping で学習。 - eVTA$_0$ は temporal-difference-style bootstrapping により mixed-quality policy rollouts から success probabilities を学習。 - expert demonstrations や intermediate annotations は不要。 - RLER は closed-loop framework で、policy の進化に応じて新規 rollouts を用いて eVTA$_0$ を適応。

4. どうやって有効だと検証した？

- eVTA$_0$ が state-of-the-art reward models より informative rewards を提供することを実験で示す。 - 同一 RL training budget で LIBERO task suites 全体の平均 policy performance が最良。 - 初期 policy から success rates を 5.4%-13.8% 改善。 - 実世界 manipulation で RLER が overall success rates を 20%-26% 改善。 - out-of-distribution 条件下で 35%-36% の gains。

5. 議論はある？

- 要旨からは不明。 - 理論的保証の詳細や限界、計算コスト、実世界での安全性などは記述されていない。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として general-purpose reward models、expert demonstrations を用いる reward learning、sparse task rewards 下の RL が挙げられる。 - 同分野の定番として LIBERO benchmark や temporal-difference learning 関連の研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Duo Wu, Haifeng Wang, Rongwei Lu, Jinghe Wang, Tianyi Xiong, Zhimin Wang, Chao Yu, Shuai Ma, Zhi Wang

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Reinforcement learning (RL) enables generalist robot policies to improve through trial-and-error interaction, yet its effectiveness is fundamentally constrained by sparse task rewards. Existing general-purpose reward models typically alleviate this issue by learning task progress from expert demonstrations, but introduce a distribution mismatch with the mixed-quality rollouts encountered during policy optimization, making their estimates unreliable on suboptimal and failed behaviors from which the policy must learn. In this work, we introduce a demonstration-free reward learning paradigm where dense reward feedback can be learned directly from sparse task outcomes and policy experience. We theoretically show that terminal task outcomes implicitly define dense success-probability feedback at intermediate timesteps, which can be recursively learned through bootstrapping. Based on this insight, we introduce eVTA$_0$, which learns success probabilities from mixed-quality policy rollouts through temporal-difference-style bootstrapping, without expert demonstrations or intermediate annotations. We further introduce RL with Evolving Rewards (RLER), a closed-loop framework that adapts eVTA$_0$ using newly collected rollouts as the policy evolves. Experiments show that eVTA$_0$ provides more informative rewards than state-of-the-art reward models and achieves the best average policy performance across all LIBERO task suites under the same RL training budget, improving success rates by 5.4%-13.8% over the initial policy. In real-world manipulation, RLER further improves overall success rates by 20%-26%, with 35%-36% gains under out-of-distribution conditions. These results demonstrate the effectiveness of demonstration-free reward learning and adapting rewards as the policy evolves. Project webpage: https://duowuyms.github.io/evta0.

arXivで原文を読む →arXiv概要ページ

← 論文一覧