日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.26282

拡散ポリシー最適化による世界モデル強化学習のスケーリング

Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルを用いた強化学習において、探索と価値学習の構造的不整合がスケーリングのボトルネックであることを特定し、拡散ポリシー表現で統一するMBDPOを提案した。

詳しい要約

1. どんなもの?

- 世界モデルを活用した model-based RL のスケーリングを目的とした研究。 - 既存手法の課題として、search と value learning の構造的ミスマッチを指摘。 - これを解決する Model-Based Diffusion Policy Optimization (MBDPO) を提案。 - diffusion policy 表現により search と policy optimization を統合。 - 明示的 planner を構築せず、latent world model 上の searched trajectories に対する diffusion process として policy optimization を再定式化。 - 収集データから暗黙の energy function を抽出し policy を anchor。 - 多タスク offline pretraining、online learning、offline-to-online fine-tuning で評価。 - offline では大規模データセットでの pretraini…

2. 先行研究と比べてどこがすごい?

- 従来の world model 手法は model bias と error compounding が長期的予測を劣化させると認識。 - さらに、search と value learning の構造的ミスマッチがより critical なボトルネックであると特定。 - 既存手法では policy improvement が search とは別の non-search policy に誘導された value function に依存し、訓練の不一致と suboptimal learning を引き起こす。 - MBDPO は diffusion policy 表現で search と policy optimization を統合し、このミスマッチを軽減。 - 明示的 planner を構築する代わりに、latent world model 上の searched trajectories に対する diffusion process として再定式化。 - これにより world model のスケーラブルな policy learning の可能性を解放。

3. 技術・手法の肝は?

- Model-Based Diffusion Policy Optimization (MBDPO) を提案。 - search と policy optimization を diffusion policy 表現で統合。 - 明示的 planner を構築せず、policy optimization を latent world model 上の searched trajectories に対する diffusion process として再定式化。 - 収集データセットから暗黙の energy function を抽出し、policy を anchor。 - これにより score field を policy optimization 用に refine しつつ、search と value learning のミスマッチを軽減。 - 具体的な diffusion モデルや energy function の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 多タスク offline pretraining、online learning、offline-to-online fine-tuning を含む幅広い設定で MBDPO を評価。 - offline 領域では、大規模データセットでの pretraining によりスケーリング挙動を調査。 - モデル容量の増加に伴い、一貫した単調な性能向上を観測。 - 具体的なベンチマーク名や比較手法、評価指標は要旨からは不明。

5. 議論はある?

- 既存 world model 手法の model bias と error compounding に加え、search と value learning の構造的ミスマッチを critical なボトルネックとして指摘。 - このミスマッチが訓練の不一致と suboptimal learning を引き起こすと議論。 - MBDPO が diffusion policy 表現で search と policy optimization を統合し、ミスマッチを軽減することを主張。 - スケーリングに関する限界や今後の課題、計算コスト、実世界適用性などは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究は明記されていない。 - 関連手法として、world models、model-based RL、diffusion policy、offline RL、online RL、offline-to-online fine-tuning の定番研究が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoyuan Cheng, Wenxuan Yuan, Zhancun Mu, Yuanzhao Zhang, Yiming Yang, Hai Wang, Zhuo Sun, Che Liu

分類: cs.LG

原文アブストラクト

Model-based reinforcement learning (RL) can be effectively supported at scale through the use of world models. However, in practice, scaling such approaches remains fundamentally limited. A commonly recognized challenge is model bias and error compounding, which degrade long-horizon predictions. Beyond these issues, we identify a more critical yet underexplored bottleneck: a structural misalignment between search and value learning in existing world model approaches. In particular, policy improvement often relies on value functions induced by a separate, non-search policy, resulting in training inconsistency and ultimately suboptimal learning. To address this limitation, we propose Model-Based Diffusion Policy Optimization (MBDPO) in world models, a framework that unifies search and policy optimization through diffusion policy representations, thereby unlocking the potential of world models for scalable policy learning. Instead of constructing an explicit planner over a learned world model, we reformulate policy optimization as a diffusion process over searched trajectories in latent world models. In this view, we extract an implicit energy function from the collected dataset that anchors the policy, enabling MBDPO to refine the score field for policy optimization while mitigating misalignment. We evaluate MBDPO across a wide range of settings, including multi-task offline pretraining, online learning, and offline-to-online fine-tuning. In the offline regime, we further investigate its scaling behavior by pretraining on large-scale datasets, observing consistent and monotonic performance gains with increasing model capacity.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI