強化学習のための段階遷移型高密度報酬モデリング
Stage-Transition Dense Reward Modeling for Reinforcement Learning
専門家のデモ動画からタスクの段階構造を推論し、段階遷移と段階内進捗の2つの報酬信号を生成することで、長期的なロボット操作タスクの強化学習を効率化する手法を提案した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yang Yang, Bingjie Chen, Zihan Wang, Yizhe Li, Guoping Pan, Yi Cheng, Houde Liu
分類: cs.RO, cs.AI
原文アブストラクト
Reinforcement learning for long-horizon robotic manipulation is often limited by sparse and delayed rewards, while manually designing dense shaping signals is costly and brittle to changes in environments and object configurations. This work proposes Stage-Transition Dense Reward (STDR), a visual reward-learning framework that converts unstructured expert videos into logically grounded dense rewards for training RL agents from scratch. STDR leverages semantic understanding to infer a task's stage structure from demonstrations, and delivers two complementary learning signals during online training: (i) stage-transition feedback that provides goal-directed reward, and (ii) within-stage progress feedback that supplies fine-grained guidance toward completing each stage. Furthermore, an out-of-distribution (OOD) detection mechanism and a grasping regulation module are integrated to enhance robustness and prevent reward hacking. Experiments on 14 manipulation tasks across MetaWorld, ManiSkill, and Franka Kitchen show that STDR consistently improves sample efficiency and success rates over multiple baselines, and matches or surpasses handcrafted dense rewards on several challenging tasks. Real-robot evaluations further indicate that STDR assigns stable, progress-aligned rewards on successful executions while producing appropriately low rewards for failures, suggesting robustness to visual noise and better-calibrated reward assignment across settings.
関連論文
- 進捗関係からロボットの報酬を学習するEvent2Reward強化学習/報酬設計
- ROOT: ユーザー指定の身体動作のための報酬発見フレームワーク強化学習/報酬設計
- 報酬設計エージェント：強化学習のための報酬設計強化学習/報酬設計
- 生成的エピソードガイダンスによる二重粒度コントラスト報酬で効率的な身体性RL強化学習/報酬設計
- グラフ思考による報酬進化：強化学習のための二段階言語モデルフレームワーク強化学習/報酬設計
- TimeRewarder：受動的動画からフレーム間時間距離で密報酬を学習強化学習/報酬設計
