降下としての計画：学習されたエネルギー地形における目標条件付き潜在軌道合成
Planning as Descent: Goal-Conditioned Latent Trajectory Synthesis in Learned Energy Landscapes
オフライン目標条件付き強化学習において、潜在軌道全体に対するエネルギー関数を学習し、勾配降下による軌道精錬として計画を行う手法を提案。キューブ操作タスクで95%の成功率を達成した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Carlos Vélez García, Miguel Cazorla, Jorge Pomares
分類: cs.RO, cs.AI
原文アブストラクト
We present Planning as Descent (PaD), a framework for offline goal-conditioned reinforcement learning that grounds trajectory synthesis in verification. Instead of learning a policy or explicit planner, PaD learns a goal-conditioned energy function over entire latent trajectories, assigning low energy to feasible, goal-consistent futures. Planning is realized as gradient-based refinement in this energy landscape, using identical computation during training and inference to reduce train-test mismatch common in decoupled modeling pipelines. PaD is trained via self-supervised hindsight goal relabeling, shaping the energy landscape around the planning dynamics. At inference, multiple trajectory candidates are refined under different temporal hypotheses, and low-energy plans balancing feasibility and efficiency are selected. We evaluate PaD on OGBench cube manipulation tasks. When trained on narrow expert demonstrations, PaD achieves state-of-the-art 95\% success, strongly outperforming prior methods that peak at 68\%. Remarkably, training on noisy, suboptimal data further improves success and plan efficiency, highlighting the benefits of verification-driven planning. Our results suggest learning to evaluate and refine trajectories provides a robust alternative to direct policy learning for offline, reward-free planning.
関連論文
- 不完全な世界モデルでも価値予測で計画するオフライン目標到達手法VPFlowオフライン強化学習/計画
- 一貫性軌道計画：オフラインモデルベース強化学習のための高品質で効率的な軌道最適化オフライン強化学習/計画
- オフラインスキルグラフ(OSG)：オフライン強化学習スキルを用いた学習と計画のフレームワークオフライン強化学習/計画
