日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2607.09336

効率的なオフライン強化学習のためのショートカット軌道計画

Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルによる軌道計画の推論コストを削減するため、単一ステージで学習可能なショートカット軌道モデルを提案し、ステップサイズ調整による1ステップ・数ステップ推論と、実現可能性補正付き批評家による計画選択を実現した。

詳しい要約

1. どんなもの?

Shortcut Trajectory Planning (STP) は、オフライン強化学習のためのモデルベースフレームワークであり、shortcut model を効率的な軌道生成器として組み込む。単一段階で条件付き shortcut trajectory model を訓練し、step-size conditioning により1ステップおよび少数ステップの推論を調整可能。critic に feasibility-aware correction を追加して候補計画を選択する。D4RL ベンチマーク(locomotion, navigation, manipulation, dexterous control)で高い性能を達成しつつ、生成計画のための訓練パイプラインを簡素化する。

2. 先行研究と比べてどこがすごい?

Diffusion-based trajectory planners はオフライン強化学習で高性能だが、反復的 denoising により推論コストが高い。Consistency-based planners はサンプリングステップ数を減らすが、通常は二段階の teacher-student distillation パイプラインに依存し、訓練コストが増加し不安定性を招く可能性がある。STP は単一段階で訓練でき、二段階蒸留を回避する点で優れている。

3. 技術・手法の肝は?

STP は conditional shortcut trajectory model を単一段階で訓練する。step-size conditioning により、推論時に1ステップまたは少数ステップの生成を可能にする。計画の選択には、feasibility-aware correction を備えた critic を使用し、候補計画の実現可能性を考慮する。

4. どうやって有効だと検証した?

標準的な D4RL ベンチマーク(locomotion, navigation, manipulation, dexterous control タスク)で評価し、強い性能を達成したことを示した。具体的な数値や比較対象は要旨からは不明。

5. 議論はある?

要旨からは、STP の性能が既存手法と比較してどの程度優れているか、また feasibility-aware correction の具体的な効果や限界についての議論は不明。また、単一段階訓練の利点が実際の計算時間や安定性にどの程度寄与するかも要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、Diffusion-based trajectory planners や Consistency-based planners が挙げられる。具体的には、Diffuser や Consistency Models などの関連手法を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guanquan Wang, Yoshimasa Tsuruoka

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Diffusion-based trajectory planners have shown strong performance in offline reinforcement learning, but their iterative denoising process often incurs high inference cost. Consistency-based planners reduce the number of sampling steps, yet they typically rely on a two-stage teacher--student distillation pipeline that increases training cost and may introduce instability. We propose Shortcut Trajectory Planning (STP), an offline model-based reinforcement learning framework that incorporates shortcut models as efficient trajectory generators. STP trains a conditional shortcut trajectory model in a single stage, supports adjustable one-step and few-step inference through step-size conditioning, and selects candidate plans using a critic augmented with feasibility-aware correction. Across standard D4RL benchmarks, including locomotion, navigation, manipulation, and dexterous control tasks, STP achieves strong performance while simplifying the training pipeline for fast generative planning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI