生成的エピソードガイダンスによる二重粒度コントラスト報酬で効率的な身体性RL
Dual-Granularity Contrastive Reward via Generated Episodic Guidance for Efficient Embodied RL
大規模動画生成モデルを活用し、少数の専門家動画から各RLエピソード用のタスクガイダンスを生成して、粗い探索と細かいマッチングを両立する二重粒度コントラスト報酬を与えることで、人手アノテーションなしにサンプル効率の高い身体性強化学習を実現した研究。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Xin Liu, Yixuan Li, Yuhui Chen, Yuxing Qin, Haoran Li, Dongbin Zhao
分類: cs.LG, cs.RO
原文アブストラクト
Designing suitable rewards poses a significant challenge in reinforcement learning (RL), especially for embodied manipulation. Trajectory success rewards are suitable for human judges or model fitting, but the sparsity severely limits RL sample efficiency. While recent methods have effectively improved RL via dense rewards, they rely heavily on high-quality human-annotated data or abundant expert supervision. To tackle these issues, this paper proposes Dual-granularity contrastive reward via generated Episodic Guidance (DEG), a novel framework to seek sample-efficient dense rewards without requiring human annotations or extensive supervision. Leveraging the prior knowledge of large video generation models, DEG only needs a small number of expert videos for domain adaptation to generate dedicated task guidance for each RL episode. Then, the proposed dual-granularity reward that balances coarse-grained exploration and fine-grained matching, will guide the agent to efficiently approximate the generated guidance video sequentially in the contrastive self-supervised latent space, and finally complete the target task. Extensive experiments on 18 diverse tasks across both simulation and real-world settings show that DEG can not only serve as an efficient exploration stimulus to help the agent quickly discover sparse success rewards, but also guide effective RL and stable policy convergence independently.
関連論文
- 進捗関係からロボットの報酬を学習するEvent2Reward強化学習/報酬設計
- ROOT: ユーザー指定の身体動作のための報酬発見フレームワーク強化学習/報酬設計
- 報酬設計エージェント：強化学習のための報酬設計強化学習/報酬設計
- 強化学習のための段階遷移型高密度報酬モデリング強化学習/報酬設計
- グラフ思考による報酬進化：強化学習のための二段階言語モデルフレームワーク強化学習/報酬設計
- TimeRewarder：受動的動画からフレーム間時間距離で密報酬を学習強化学習/報酬設計
