日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.24810

オフダイナミクス強化学習のためのクロスドメインエネルギー誘導拡散生成

Cross-Domain Energy-Guided Diffusion Generation for Off-Dynamics Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

遷移ダイナミクスが異なる環境間で、ソースデータセットからターゲット領域のポリシーを学習する際に、エネルギー誘導を用いて軌道レベルの拡散生成を行い、ターゲット領域に適応した合成データを生成する手法CEDGEを提案した。

詳しい要約

1. どんなもの?

- 目的: off-dynamics offline RL において、source dataset と限られた target dataset から target-domain policy を学習すること。 - 課題: 既存手法は source dataset に制約され、新しい target behavior を合成できない。 - 提案: CEDGE (Cross-domain Energy-guided Diffusion GEneration) を提案。 - 特徴: source-domain trajectories で trajectory diffusion model を訓練し、energy guidance で target domain に適応。 - 応用: 生成軌跡は direct planning と synthetic data として policy learning に利用可能。

2. 先行研究と比べてどこがすごい?

- 既存手法: reward augmentation や data filtering は source dataset に限定され、target behavior の合成ができない。 - 既存手法: model-based 手法は transition level で経験を生成するため、long horizon で誤差が蓄積する。 - 提案手法: trajectory-level 生成により、これらの制限を克服。 - 効率性: diffusion model を再訓練せず energy guidance で target に適応するため、新しい target dynamics に効率的に適応可能。

3. 技術・手法の肝は?

- 核心: source-domain trajectories で trajectory diffusion model を訓練。 - 適応: energy guidance により生成サンプルを target domain に適応。 - エネルギー: source と desired target-domain trajectories の分布ミスマッチを最小化し、return, domain, behavior energy に分解。 - 生成: energy-guided trajectories を生成し、direct planning や synthetic data として利用。 - 効率: 再訓練不要で新しい target dynamics に適応。

4. どうやって有効だと検証した?

- ベンチマーク: ODRL benchmark を使用。 - 結果: trajectory-level energy-guided generation が dynamics shifts 下での diffusion planning を改善。 - 結果: synthetic data が downstream target policy learning を改善。 - 検証方法: 実験により有効性を確認。

5. 議論はある?

- 制限: 既存手法の制約と提案手法の利点を議論。 - 課題: transition-level 生成の誤差蓄積問題を指摘。 - 提案: trajectory-level 生成への移行の必要性を主張。 - 議論: 効率性と適応性について言及。 - 詳細: 具体的な議論の深さは要旨からは不明。

6. 次に読むべき論文は?

- 関連研究: reward augmentation, data filtering, model-based methods for off-dynamics offline RL。 - 関連手法: diffusion planning, energy-guided diffusion generation。 - ベンチマーク: ODRL benchmark。 - 同分野の定番: offline RL, diffusion models for RL。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yu Yang, Yihong Guo, Anqi Liu, Pan Xu

分類: cs.LG, cs.AI, cs.RO, stat.AP

原文アブストラクト

Off-dynamics offline reinforcement learning seeks to learn a target-domain policy from a large source dataset and a limited target dataset under mismatched transition dynamics. Existing approaches such as reward augmentation and data filtering are constrained to the source dataset and cannot synthesize new target behavior to improve coverage beyond the collected source trajectories. While recent model-based methods attempt to address this by learning target-aware dynamics, the generated experience is constructed only at the transition level, which leads to accumulated errors over long horizons. These limitations necessitate a shift toward trajectory-level generation for off-dynamics offline RL. We propose CEDGE, a Cross-domain Energy-guided Diffusion GEneration framework. CEDGE trains a trajectory diffusion model on source-domain trajectories and adapts the generated samples to the target domain through energy guidance. This guidance is derived by minimizing the distribution mismatch between the source and desired target-domain trajectories and is decomposed into return, domain, and behavior energy components. The resulting energy-guided trajectories are useful both for direct planning and as synthetic data for policy learning. Since target adaptation is achieved via energy guidance rather than retraining the diffusion model, CEDGE can be efficiently adapted to new target dynamics compared to previous methods. Experiments on the ODRL benchmark demonstrate that trajectory-level energy-guided generation improves diffusion planning under dynamics shifts and produces synthetic data that improves downstream target policy learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI