オフライン強化学習2026/11/7arXiv:2611.10993

拡散ポリシーで誘導する拡散プランナーによるオフライン強化学習

DPDP: Diffusion Policy-Steered Diffusion Planner for Offline Reinforcement Learning

拡散ポリシー（価値志向だが近視眼的）と拡散プランナー（長期志向だが振る舞い依存）をプランナーの実行段階で統合し、逆動力学の事前分布を価値最適化ポリシーで置き換えるDPDPを提案。D4RLで性能向上を実証。

詳しい要約

1. どんなもの？

オフライン強化学習(offline RL)において、diffusion policyとdiffusion plannerという2種類のdiffusionモデルの役割を統合するDPDPを提案する研究。diffusion policyはcriticに導かれvalue-awareで高リターン・behavior-supportedな行動を好むがshort-sighted(訪問予定のstateを設計しない)。diffusion plannerはlong-horizon trajectoryを合成しfar-sightedだが実行時はoffline behaviorのみで各transitionを実現するbehavior-driven。両者をplannerの実行ステップ(planned transitionがactionになる箇所)で統合する。

2. 先行研究と比べてどこがすごい？

- diffusion policyとdiffusion plannerは相補的な強みを持つが、従来は別々に扱われていた - diffusion policyはvalue-awareだがshort-sighted、diffusion plannerはfar-sightedだが実行時にbehavior-drivenという弱点を相互補完 - plannerのinverse-dynamics executorをaction上のposteriorと解釈し、behavioral priorをvalue-optimized diffusion policyに置換する点が新規 - 実験ではD4RL全体で基盤となるplannerを改善し、locomotionではreactive diffusion policiesと競合、long-horizon navigationでは優位

3. 技術・手法の肝は？

- plannerのinverse-dynamics executorをaction上のposteriorとして読む: 環境のtransition likelihoodがactionとplanned next stateを関係づけ、behavioral priorがoffline data下での重みを決める - このpriorをvalue-optimized diffusion policyに置換し、planned transition likelihoodを保ちつつplanに資するvaluableなactionを好むclean-action分布を狙う - 実現法1: training-free sampler。policyとinverse-dynamicsのscoreを一致したaction noise levelで合成しLangevin correctionを適用。共有action noise scheduleとほぼ共通のterminal priorを用いる - 実現法2: preference objectiveによりtransferを単一のdiffusion executorにa…

4. どうやって有効だと検証した？

- D4RL上で評価 - 基盤となるplannerを改善することを確認 - locomotionではreactive diffusion policiesと競合する性能 - long-horizon navigationでは優位性を示す

5. 議論はある？

要旨からは不明。training-free samplerとpreference objectiveによるamortizationの比較や、共有action noise schedule・terminal priorの近似の影響などは要旨に記述がない。

6. 次に読むべき論文は？

- 基盤となっているdiffusion planner(要旨では名称不明) - reactive diffusion policies(比較対象のdiffusion policy) - D4RL - Langevin dynamics / score-based generative modeling - inverse-dynamics model

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruyi An, Mingyuan Zhou

分類: cs.LG

原文アブストラクト

In offline reinforcement learning, diffusion models fill two roles with complementary strengths. Typically guided by a critic, a diffusion policy is value-aware and favors high-return, behavior-supported actions, but it is short-sighted: it never lays out the states it intends to visit. A diffusion planner is far-sighted, synthesizing such a long-horizon trajectory, but it is only behavior-driven at execution, realizing each planned transition using only offline behavior.Each is strong exactly where the other is weak. We introduce DPDP to bring them together at the planner's execution step, where a planned transition becomes an action. Reading the planner's inverse-dynamics executor as a posterior over actions: the environment's transition likelihood relates an action to the planned next state, while the behavioral prior determines its weight under the offline data. Replacing this prior with a value-optimized diffusion policy preserves the planned transition likelihood and favors valuable actions that can serve the plan. We target the resulting clean-action distribution in two ways. A training-free sampler composes policy and inverse-dynamics scores at matched action noise levels and applies Langevin correction; this route uses a shared action noise schedule and an approximately common terminal prior. A preference objective instead amortizes the transfer into a single diffusion executor. Across D4RL, DPDP improves the planner it builds on, staying competitive with reactive diffusion policies on locomotion and leading on long-horizon navigation.

arXivで原文を読む →arXiv概要ページ

拡散ポリシーで誘導する拡散プランナーによるオフライン強化学習

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell