確率的分離ポリシー勾配による効率的なオンポリシー視覚強化学習
Efficient On-policy Visual-RL via Stochastic Decoupled Policy Gradient
軌道ロールアウトのランダム摂動でポリシー勾配を推定し、単一GPUで数時間の学習を実現する軽量な視覚強化学習手法SDPGを提案。視覚MuJoCoベンチマークで既存手法より高速・低メモリ・高報酬を達成し、実機へのsim-to-real転送も実証した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Haoxiang You, Yilang Liu, Davis Zong, Qian Wang, Teeratham Vitchutripop, Qi Wang, Daniel Rakita, Ian Abraham
分類: cs.RO, cs.AI, cs.CV, cs.LG, cs.SY, eess.SY
原文アブストラクト
We present the stochastic decoupled policy gradient (SDPG), a lightweight visual reinforcement learning (RL) method that trains diverse visuomotor control policies end-to-end within a few hours on a single NVIDIA RTX 4080 GPU. SDPG estimates policy gradients via random perturbations of trajectory rollouts, requiring orders of magnitude fewer batch-rendered environments and substantially reducing compute and memory overhead. On visual MuJoCo benchmarks, SDPG consistently outperforms baseline methods in training time, memory usage, and rewards. Finally, to support future research, we introduce a suite of realistic visual robotics benchmarks spanning dexterous manipulation, challenging locomotion, and demonstrate effective sim-to-real transfer on physical hardware.
