ロボティクス向け大規模並列マルチタスク強化学習のベンチマーク
Benchmarking Massively Parallelized Multi-Task Reinforcement Learning for Robotics Tasks
GPU加速シミュレータIsaacGym上で50の操作タスクと20の歩行タスクからなるマルチタスク強化学習ベンチマークMTBenchを構築し、複数のアルゴリズムを統一的に評価した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Viraj Joshi, Zifan Xu, Bo Liu, Peter Stone, Amy Zhang
分類: cs.RO
原文アブストラクト
Multi-task Reinforcement Learning (MTRL) has emerged as a critical training paradigm for applying reinforcement learning (RL) to a set of complex real-world robotic tasks, which demands a generalizable and robust policy. At the same time, \emph{massively parallelized training} has gained popularity, not only for significantly accelerating data collection through GPU-accelerated simulation but also for enabling diverse data collection across multiple tasks by simulating heterogeneous scenes in parallel. However, existing MTRL research has largely been limited to off-policy methods like SAC in the low-parallelization regime. MTRL could capitalize on the higher asymptotic performance of on-policy algorithms, whose batches require data from the current policy, and as a result, take advantage of massive parallelization offered by GPU-accelerated simulation. To bridge this gap, we introduce a massively parallelized $\textbf{M}$ulti-$\textbf{T}$ask $\textbf{Bench}$mark for robotics (MTBench), an open-sourced benchmark featuring a broad distribution of 50 manipulation tasks and 20 locomotion tasks, implemented using the GPU-accelerated simulator IsaacGym. MTBench also includes four base RL algorithms combined with seven state-of-the-art MTRL algorithms and architectures, providing a unified framework for evaluating their performance. Our extensive experiments highlight the superior speed of evaluating MTRL approaches using MTBench, while also uncovering unique challenges that arise from combining massive parallelism with MTRL. Code is available at https://github.com/Viraj-Joshi/MTBench
関連論文
- T3S: タスク固有特徴セレクタとスケジューラによるマルチタスク強化学習の改善マルチタスク強化学習
- 大規模マルチタスク世界モデルによる連続制御の学習マルチタスク強化学習
- 時間的に拡張された行動共有によるマルチタスク強化学習マルチタスク強化学習
- クロスタスク方策ガイダンスによる効率的なマルチタスク強化学習マルチタスク強化学習
- 大きく、正則化し、カテゴリカルに：高容量価値関数は効率的なマルチタスク学習者マルチタスク強化学習
- モデルベース強化学習エージェントにおける効率的なマルチタスク学習のための知識転移マルチタスク強化学習
