スケーラブルな目標条件付き強化学習のためのマルチステップ準距離学習
Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning
マルチステップモンテカルロリターンを用いて準距離を学習するオフライン目標条件付き強化学習手法を提案し、長期的な視覚タスクや実世界のロボット操作で有効性を示した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine
分類: cs.LG, cs.RO
原文アブストラクト
Learning how to reach goals in an environment is a longstanding challenge in AI, yet reasoning over long horizons remains a challenge for modern methods. The key question is how to estimate the temporal distance between pairs of observations. While temporal difference methods leverage local updates to provide optimality guarantees, they often perform worse than Monte Carlo methods that perform global updates (e.g., with multi-step returns), which lack such guarantees. We show how these approaches can be integrated into a practical offline GCRL method that fits a quasimetric distance using a multistep Monte-Carlo return. We show our method outperforms existing offline GCRL methods on long-horizon simulated tasks with up to 4000 steps, even with visual observations. We also demonstrate that our method can enable stitching in the real-world robotic manipulation domain (Bridge setup). Our approach is the first end-to-end offline GCRL method that enables multistep stitching in this real-world manipulation domain from an unlabeled offline dataset of visual observations and demonstrate robust horizon generalization.
関連論文
- 目標条件付き強化学習のための世界モデル政策アービター目標条件付き強化学習
- アイコナール制約付き階層的準距離強化学習による目標到達目標条件付き強化学習
- 目標条件付き強化学習のためのヌル反事実的因子相互作用目標条件付き強化学習
- 制約なし目標ナビゲーションのための世界モデル学習目標条件付き強化学習
- もつれ表現と到達可能性計画を組み合わせた目標条件付き強化学習目標条件付き強化学習
- 事前学習済みスキルによる目標探索拡張：疎報酬・長期ホライズン目標条件付き強化学習目標条件付き強化学習
