日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.15260

大規模並列オン方策強化学習のための信頼領域拡散ポリシー

Trust-Region Diffusion Policies for Massively Parallel On-Policy RL

シェア:XThreadsFacebookLINEはてブBluesky

大規模並列シミュレーションを用いたオン方策強化学習で拡散ポリシーを安定して訓練する手法TruDiを提案し、多様なベンチマークで性能を実証した。

詳しい要約

1. どんなもの?

- 大規模並列シミュレーションを用いたon-policy強化学習(RL)において、diffusion policyを効果的に訓練する手法「Trust-region Diffusion Policies (TruDi)」を提案。 - 従来のGaussian policyに代わり、表現力の高いdiffusion modelをpolicyとして利用。 - 4つの大規模並列RLベンチマーク、計73タスクで評価。

2. 先行研究と比べてどこがすごい?

- 既存のdiffusion-based RLは主にofflineまたはoff-policy設定向けであり、大規模並列on-policy設定での訓練は未開拓。 - TruDiはこの設定でdiffusion policyを安定に訓練可能にし、標準タスクで強力なbaselineと同等以上、困難なhumanoid制御タスクで明確な改善を達成。 - 大規模並列on-policy RLの新しい強力なbaselineを確立。

3. 技術・手法の肝は?

- 更新間でデータ分布が急速に変化する大規模並列on-policy設定の課題に対処。 - trust-region最適化ルールを統合し、diffusion trajectory全体にわたるKL-divergence制約を課す。 - これにより複雑なpolicyの安定した訓練を実現。

4. どうやって有効だと検証した?

- 4つの大規模並列RLベンチマーク、合計73タスクで評価。 - 標準タスクでは強力なbaselineと同等以上、より困難なhumanoid制御タスクでは明確な性能向上を確認。 - 一貫して優れた性能を示し、新たなbaselineとしての有効性を検証。

5. 議論はある?

- 要旨からは不明。 - 限界や今後の課題についての議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な研究は明示されていない。 - 関連手法として、diffusion policy、offline RL、off-policy RL、trust-region policy optimization、KL-divergence制約付きRL、大規模並列シミュレーションを用いたon-policy RL(例:PPO)などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huy Le, Onur Celik, Denis Blessing, Tai Hoang, Claas A Voelcker, Axel Brunnbauer, Felix Richter, Michael Volpp, Gerhard Neumann

分類: cs.LG, cs.AI

原文アブストラクト

Reinforcement learning with massively parallel simulations has become a standard framework for developing robust, deployable policies; however, most existing approaches still rely on simple Gaussian policy parameterizations. Diffusion models provide a more expressive policy class and have shown strong performance on challenging control problems, yet most diffusion-based RL methods are designed for offline or off-policy training. In this work, we ask whether diffusion policies can be trained effectively in the massively parallel, on-policy regime. To this end, we introduce Trust-region Diffusion Policies (TruDi), which enables diffusion policies for on-policy RL with massively parallel simulations. This setting is particularly challenging because the data distribution changes quickly across updates, making stable training with complex policies difficult. TruDi addresses this by integrating a trust-region optimization rule to enforce a KL-divergence constraint over the entire diffusion trajectory. Empirically, we evaluate TruDi on a diverse set of 4 massively parallel RL benchmarks comprising a total of 73 tasks. Across these tasks, TruDi consistently outperforms or is on-par with strong baselines on standard tasks and achieves clear gains on more challenging humanoid control tasks, establishing a strong new baseline for massively parallel on-policy RL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI