GPU並列マルチタスク強化学習とデモンストレーション誘導型方策最適化
GPU-Parallel Multi-Task Reinforcement Learning with Demonstration Guided Policy Optimization
GPU並列環境で複数の操作タスクを同時に学習するベンチマークMT-Liberoを構築し、デモンストレーションを活用したDGPOアルゴリズムを提案して性能を向上させた。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Rui Zhang, Qiwei Wu, Zhengyu Zhang, Tao Li, Yunrong Guo, Junjie Lai, Renjing Xu, Weihua Zhang
分類: cs.RO
原文アブストラクト
Large scale GPU-parallel reinforcement learning has changed what can be trained in robot simulation, yet most systems still optimize one specialist policy per task. We propose a construction methodology for turning structured manipulation task families into GPU-parallel multi-task RL benchmarks, and instantiate it as MT-Libero using LIBERO assets and task predicates in Isaac Lab. The resulting benchmark supports simultaneous reinforcement learning over heterogeneous task suites with parallel rendering, physics randomization, and state-input or visual-input policies. To make such training practical under sparse success signals and limited prior data, we further propose DGPO, an on-policy demonstration guided method that combines importance weighted PPO with adaptive behavior cloning on matched demonstration actions. DGPO enables a tunable preference toward demonstrated task distributions, outperforming both prior-free RL and existing demonstration-based methods while preserving the stability and online improvement benefits of on-policy PPO.
関連論文
- 逆強化学習で履歴を書き換える：方策改善のための後付け推論マルチタスクRL
- DiGrad：共有アクションを持つマルチタスク強化学習マルチタスクRL
