一貫性軌道計画:オフラインモデルベース強化学習のための高品質で効率的な軌道最適化
Consistency Trajectory Planning: High-Quality and Efficient Trajectory Optimization for Offline Model-Based Reinforcement Learning
拡散モデルベースの計画における計算コスト問題を解決するため、Consistency Trajectory Modelを活用した一貫性軌道計画(CTP)を提案。D4RLベンチマークで既存手法を上回り、120倍以上の推論高速化を実現した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Guanquan Wang, Takuya Hiraoka, Yoshimasa Tsuruoka
分類: cs.AI, cs.LG, cs.RO
原文アブストラクト
This paper introduces Consistency Trajectory Planning (CTP), a novel offline model-based reinforcement learning method that leverages the recently proposed Consistency Trajectory Model (CTM) for efficient trajectory optimization. While prior work applying diffusion models to planning has demonstrated strong performance, it often suffers from high computational costs due to iterative sampling procedures. CTP supports fast, single-step trajectory generation without significant degradation in policy quality. We evaluate CTP on the D4RL benchmark and show that it consistently outperforms existing diffusion-based planning methods in long-horizon, goal-conditioned tasks. Notably, CTP achieves higher normalized returns while using significantly fewer denoising steps. In particular, CTP achieves comparable performance with over $120\times$ speedup in inference time, demonstrating its practicality and effectiveness for high-performance, low-latency offline planning.
関連論文
- 不完全な世界モデルでも価値予測で計画するオフライン目標到達手法VPFlowオフライン強化学習/計画
- 降下としての計画:学習されたエネルギー地形における目標条件付き潜在軌道合成オフライン強化学習/計画
- オフラインスキルグラフ(OSG):オフライン強化学習スキルを用いた学習と計画のフレームワークオフライン強化学習/計画
