日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2604.09035

モデルベース強化学習のためのアドバンテージ誘導拡散

Advantage-Guided Diffusion for Model-Based Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

拡散世界モデルを用いたモデルベース強化学習において、報酬ではなくアドバンテージ推定で逆拡散過程を誘導し、長期的なリターンが高い軌道を生成する手法を提案した。

詳しい要約

1. どんなもの?

- 拡散モデルを用いた model-based reinforcement learning (MBRL) の新手法 AGD-MBRL を提案。 - 逆拡散過程を advantage 推定で誘導し、生成窓を超えた長期リターンが高い軌道にサンプリングを集中させる。 - 2つのガイド SAG (Sigmoid Advantage Guidance) と EAG (Exponential Advantage Guidance) を開発。 - PolyGRAD 風アーキテクチャに統合可能で、拡散学習目的関数の変更は不要。

2. 先行研究と比べてどこがすごい?

- 既存の拡散ガイドは policy-only で価値情報を捨てるか、reward-based で短い拡散 horizon では近視眼的になる問題があった。 - AGD-MBRL は advantage 推定を用いることで、生成窓を超えた長期リターンを考慮できる。 - 標準的仮定の下で、SAG/EAG によるガイドが advantage に応じた再重み付きサンプリングを可能にし、policy improvement を導くことを証明。 - 無誘導の拡散モデルより高い価値を持つ軌道を生成することを示す。

3. 技術・手法の肝は?

- 逆拡散過程を agent の advantage 推定で誘導する。 - SAG: sigmoid 関数を用いた advantage ガイド。 - EAG: exponential 関数を用いた advantage ガイド。 - PolyGRAD 風アーキテクチャで state 成分をガイドし、action 生成は policy-conditioned のままとする。 - 拡散学習目的関数の変更は不要。

4. どうやって有効だと検証した?

- MuJoCo 制御タスク (HalfCheetah, Hopper, Walker2D, Reacher) で評価。 - PolyGRAD、online Diffuser 風 reward guide、model-free ベースライン (PPO/TRPO) と比較。 - サンプル効率と最終リターンが改善し、場合によっては 2倍のマージンで向上。

5. 議論はある?

- 短い拡散 horizon における近視眼性に対する advantage-aware ガイドの有効性を示す。 - 理論的保証 (policy improvement) と実験結果の両面から有効性を主張。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- PolyGRAD (関連手法) - online Diffuser 風 reward guide (比較対象) - PPO/TRPO (model-free ベースライン) - 拡散モデルを用いた MBRL の関連研究 (Diffuser など)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Daniele Foffano, Arvid Eriksson, David Broman, Karl H. Johansson, Alexandre Proutiere

分類: cs.AI, cs.LG

原文アブストラクト

Model-based reinforcement learning (MBRL) with autoregressive world models suffers from compounding errors, whereas diffusion world models mitigate this by generating trajectory segments jointly. However, existing diffusion guides are either policy-only, discarding value information, or reward-based, which becomes myopic when the diffusion horizon is short. We introduce Advantage-Guided Diffusion for MBRL (AGD-MBRL), which steers the reverse diffusion process using the agent's advantage estimates so that sampling concentrates on trajectories expected to yield higher long-term return beyond the generated window. We develop two guides: (i) Sigmoid Advantage Guidance (SAG) and (ii) Exponential Advantage Guidance (EAG). We prove that a diffusion model guided through SAG or EAG allows us to perform reweighted sampling of trajectories with weights increasing in state-action advantage-implying policy improvement under standard assumptions. Additionally, we show that the trajectories generated from AGD-MBRL follow an improved policy (that is, with higher value) compared to an unguided diffusion model. AGD integrates seamlessly with PolyGRAD-style architectures by guiding the state components while leaving action generation policy-conditioned, and requires no change to the diffusion training objective. On MuJoCo control tasks (HalfCheetah, Hopper, Walker2D and Reacher), AGD-MBRL improves sample efficiency and final return over PolyGRAD, an online Diffuser-style reward guide, and model-free baselines (PPO/TRPO), in some cases by a margin of 2x. These results show that advantage-aware guidance is a simple, effective remedy for short-horizon myopia in diffusion-model MBRL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI