日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

拡散方策/安全強化学習arXiv:2610.05969

到達可能性を考慮した拡散方策最適化

Reachability-Aware Diffusion Policy Optimization

シェア:XThreadsFacebookLINEはてブBluesky

拡散方策を用いた強化学習において、動力学モデルなしで予測的な初回到達可能性推定と累積コスト予算フィードバックを組み合わせ、安全性を考慮した方策最適化手法RADPOを提案した。

詳しい要約

1. どんなもの?

- 連続制御RLにおける安全志向のオンライン拡散政策最適化手法 - 名称はReachability-Aware Diffusion Policy Optimization (RADPO) - モデルフリーで予測的なfirst-hit安全性推定と累積コスト予算フィードバックを組み合わせる - 拡散政策の表現力ある行動分布を活用 - 明示的なdynamics modelを必要としない

2. 先行研究と比べてどこがすごい?

- 安全志向のオンライン拡散政策最適化は未開拓 - 予測的reachability情報を明示的dynamics modelなしで使う点が新しい - 学習済みdynamics model、criticsを通じた行動勾配、逆拡散サンプラーを通じた微分を不要とする - 比較ベースラインに対し複数タスクで制約違反を大幅削減 - 報酬-コストトレードオフで競争力のある性能

3. 技術・手法の肝は?

- 割引付きfirst-hit reachability valueを学習 - コスト事象の割引リスクを捉え、早く起きる事象に大きい重みを付与 - この信号で報酬をshape - 別のdual-like multiplierが実現エピソードコストと所定予算に応じてshaping強度を調整 - 拡散actorはreward criticでスコアされた候補行動に対する重み付きdenoising regressionで改善

4. どうやって有効だと検証した?

- 10の連続制御安全タスクで評価 - 報酬-コストトレードオフが競争力があることを確認 - 複数タスクで比較ベースラインに対し制約違反を大幅削減 - reachability valueの理論的性質を確立 - 累積reachability penaltyが将来の割引累積コストの保守的代理となることを示す

5. 議論はある?

- 理論と実証分析からreachabilityと累積予算フィードバックの組合せが安全志向拡散政策の実行可能なアプローチと支持 - 明示的dynamics model不要などの利点 - 具体的な限界や失敗ケースは要旨からは不明 - 計算コストやスケーラビリティの議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてdiffusion policy、model-free safe RL、reachability-based safe RL、dual-like multiplierを用いた制約付きRLの定番文献を挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hikmet Simsir, Kutay Demiray, Ozgur S. Oguz

分類: cs.LG, cs.RO

原文アブストラクト

Diffusion policies provide expressive action distributions for continuous-control reinforcement learning. However, safety-aware online diffusion policy optimization remains underexplored, particularly methods that use predictive reachability information without an explicit dynamics model. We propose Reachability-Aware Diffusion Policy Optimization (RADPO), a model-free method that combines predictive first-hit safety estimation with cumulative-cost budget feedback. RADPO learns a discounted first-hit reachability value that captures the discounted risk of a cost event, assigns larger weight to events that occur sooner, and uses this signal to shape the reward. A separate dual-like multiplier adjusts the shaping strength according to realized episodic costs relative to a prescribed budget. The diffusion actor improves through weighted denoising regression on candidate actions scored by the reward critic. Our approach requires neither a learned dynamics model, action gradients through the critics, nor differentiation through the reverse diffusion sampler. We establish theoretical properties of the reachability value and show that accumulated reachability penalty provides a conservative surrogate for future discounted cumulative cost. Across ten continuous-control safety tasks, RADPO achieves competitive reward-cost trade-offs, with substantial reductions in constraint violations on several tasks relative to the compared baselines. Our theoretical and empirical analysis supports that combining reachability with cumulative budget feedback is a viable approach to safety-aware diffusion policies.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI