日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習/計画arXiv:2507.09534

一貫性軌道計画:オフラインモデルベース強化学習のための高品質で効率的な軌道最適化

Consistency Trajectory Planning: High-Quality and Efficient Trajectory Optimization for Offline Model-Based Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルベースの計画における計算コスト問題を解決するため、Consistency Trajectory Modelを活用した一貫性軌道計画(CTP)を提案。D4RLベンチマークで既存手法を上回り、120倍以上の推論高速化を実現した。

詳しい要約

1. どんなもの?

- 本論文は Consistency Trajectory Planning (CTP) という新規の offline model-based reinforcement learning 手法を提案する。 - 最近提案された Consistency Trajectory Model (CTM) を活用し、効率的な trajectory optimization を実現する。 - 目的は、diffusion model ベースの planning が抱える反復サンプリングによる高い計算コストを削減しつつ、policy 品質を維持すること。 - 単一ステップでの trajectory 生成を可能にし、D4RL benchmark で評価される。

2. 先行研究と比べてどこがすごい?

- 先行研究では diffusion model を planning に適用し強い性能を示してきたが、反復的なサンプリング手順のため計算コストが高いという課題があった。 - CTP は、policy 品質を大きく劣化させることなく、高速な単一ステップの trajectory 生成を可能にする点が優れている。 - 長い horizon の goal-conditioned タスクにおいて、既存の diffusion-based planning 手法を一貫して上回る。 - 特に、denoising steps を大幅に削減しながら高い normalized return を達成し、推論時間で 120 倍以上の高速化を実現する。

3. 技術・手法の肝は?

- 最近提案された Consistency Trajectory Model (CTM) を offline model-based reinforcement learning の planning に活用する。 - CTM により、反復的な denoising を必要とせず、単一ステップでの trajectory 生成を実現する。 - これにより、diffusion model ベースの planning の計算コストを大幅に削減する。 - 具体的な model 構成や学習手順の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- D4RL benchmark 上で CTP を評価している。 - 長い horizon の goal-conditioned タスクにおいて、既存の diffusion-based planning 手法と比較し、一貫して優れた性能を示す。 - より少ない denoising steps で高い normalized return を達成することを示す。 - 推論時間で 120 倍以上の高速化を達成しつつ、同等の性能を実現することを報告している。

5. 議論はある?

- 要旨からは不明。 - ただし、CTP が高速かつ高性能な offline planning の実用性と有効性を示すと主張している。 - 具体的な限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- Consistency Trajectory Model (CTM) - diffusion model ベースの planning 手法(Diffuser など、要旨では個別名は明示されていない) - D4RL benchmark を用いた offline model-based reinforcement learning の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guanquan Wang, Takuya Hiraoka, Yoshimasa Tsuruoka

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

This paper introduces Consistency Trajectory Planning (CTP), a novel offline model-based reinforcement learning method that leverages the recently proposed Consistency Trajectory Model (CTM) for efficient trajectory optimization. While prior work applying diffusion models to planning has demonstrated strong performance, it often suffers from high computational costs due to iterative sampling procedures. CTP supports fast, single-step trajectory generation without significant degradation in policy quality. We evaluate CTP on the D4RL benchmark and show that it consistently outperforms existing diffusion-based planning methods in long-horizon, goal-conditioned tasks. Notably, CTP achieves higher normalized returns while using significantly fewer denoising steps. In particular, CTP achieves comparable performance with over $120\times$ speedup in inference time, demonstrating its practicality and effectiveness for high-performance, low-latency offline planning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI