どこで学ぶか：オンポリシーロボット強化学習のための解析的方針勾配による指向的探索
Where-to-Learn: Analytical Policy Gradient Directed Exploration for On-Policy Robotic Reinforcement Learning
微分可能な力学モデルからの解析的方針勾配を用いて、タスク認識かつ物理に基づくガイダンスを注入し、高報酬領域への探索を促進する新しい指向的探索手法を提案した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Leixin Chang, Xinchen Yao, Ben Liu, Liangjing Yang, Hua Chen
分類: cs.RO
原文アブストラクト
On-policy reinforcement learning (RL) algorithms have demonstrated great potential in robotic control, where effective exploration is crucial for efficient and high-quality policy learning. However, how to encourage the agent to explore the better trajectories efficiently remains a challenge. Most existing methods incentivize exploration by maximizing the policy entropy or encouraging novel state visiting regardless of the potential state value. We propose a new form of directed exploration that uses analytical policy gradients from a differentiable dynamics model to inject task-aware, physics-guided guidance, thereby steering the agent towards high-reward regions for accelerated and more effective policy learning.
関連論文
- CURIO: 好奇心駆動によるテスト時学習でオープンエンドな発見を実現強化学習/探索
- プロンプト駆動探索強化学習/探索
- 報酬なし事前学習：占有被覆最大化による強化学習強化学習/探索
- DF-ExpEnse: 拡散フィルタ探索によるサンプル効率的なファインチューニング強化学習/探索
- 表形式基盤モデルはロボット方策学習の探索を導けるか？強化学習/探索
- 価値誘導フローによる高次元連続制御のスケーラブルな探索強化学習/探索
