日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2505.19238

ロバスト制約付きMDPにおける反復計算量保証付き効率的方策最適化

Efficient Policy Optimization in Robust Constrained MDPs with Iteration Complexity Guarantees

シェア:XThreadsFacebookLINEはてブBluesky

実モデルとシミュレータのずれがある状況で、最悪ケースのモデルに対しても制約を満たしつつ報酬を最大化する方策を、二分探索なしでO(ε^-2)反復で学習する手法を提案した論文。

詳しい要約

1. どんなもの?

- 問題設定: 実モデルとシミュレータ/nominal modelの間に不一致がある状況で、制約を満たしつつ累積報酬を最大化する政策を学ぶ問題を扱う。 - 対象: robust constrained Markov decision problem (RCMDP)。未知のnominal modelを中心とするuncertainty setの下で、最悪のstochastic modelに対しても報酬最大化と制約充足を目指す。 - 提案: 制約充足とrobust reward最大化を両立させる新しい政策最適化手法。 - 保証: 最大εのsub-optimalityとfeasibleな政策をO(ε^{-2})反復で見つけることを証明。

2. 先行研究と比べてどこがすごい?

- 標準的なconstrained MDP (CMDP) では有効なprimal-dual methodsが、RCMDPではstrong duality propertyが欠けるため適用できない。 - 標準的なrobust value-iterationをcomposite value functionに適用するのも、reward value functionとconstraint value functionで最悪ケースのmodelが異なりうるため不可。 - 提案手法はstate-of-the-artと異なりbinary searchを必要とせず、計算時間を小さいdiscount factor (γ) で少なくとも4x、大きいγで少なくとも6x削減。

3. 技術・手法の肝は?

- 制約が満たされていない状況ではconstraint value functionを効果的に最小化して制約充足を図る。 - すべての制約が満たされた場合にはrobust reward value functionを単純に最大化する。 - この切替的な最適化により、binary searchを用いずにRCMDPの政策を反復的に改善する。 - 詳細なアルゴリズム構成は要旨からは不明。

4. どうやって有効だと検証した?

- 理論解析により、提案アルゴリズムが最大εのsub-optimalityかつfeasibleな政策をO(ε^{-2})反復で見つけることを証明。 - state-of-the-art手法との計算時間比較で、小さいγでは少なくとも4x、大きいγでは少なくとも6xの削減を示す。 - 実験設定やベンチマークの詳細は要旨からは不明。

5. 議論はある?

- primal-dualやrobust value-iterationが使えない理由として、strong dualityの欠如とreward/constraintで最悪ケースmodelが異なりうる点を指摘。 - binary searchを不要にしたことで計算時間を削減できると主張。 - 反復計算量O(ε^{-2})の保証がある一方、他の誤差要因や実環境への適用限界については要旨からは不明。

6. 次に読むべき論文は?

- 標準的なconstrained MDP (CMDP) におけるprimal-dual methods。 - robust MDPにおけるrobust value-iteration。 - RCMDPのstate-of-the-art手法(binary searchを用いる手法)。 - 関連する一般手法としてconstrained policy optimizationやrobust reinforcement learning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sourav Ganguly, Kishan Panaganti, Arnob Ghosh, Adam Wierman

分類: cs.LG, cs.AI, cs.RO, cs.SY, eess.SY

原文アブストラクト

Constrained decision-making is essential for designing safe policies in real-world control systems, yet simulated environments often fail to capture real-world adversities. We consider the problem of learning a policy that will maximize the cumulative reward while satisfying a constraint, even when there is a mismatch between the real model and an accessible simulator/nominal model. In particular, we consider the robust constrained Markov decision problem (RCMDP) where an agent needs to maximize the reward and satisfy the constraint against the worst possible stochastic model under the uncertainty set centered around an unknown nominal model. Primal-dual methods, effective for standard constrained MDP (CMDP), are not applicable here because of the lack of the strong duality property. Further, one cannot apply the standard robust value-iteration based approach on the composite value function either as the worst case models may be different for the reward value function and the constraint value function. We propose a novel technique that effectively minimizes the constraint value function--to satisfy the constraints; on the other hand, when all the constraints are satisfied, it can simply maximize the robust reward value function. We prove that such an algorithm finds a policy with at most $\epsilon$ sub-optimality and feasible policy after $O(\epsilon^{-2})$ iterations. In contrast to the state-of-the-art method, we do not need to employ a binary search, thus, we reduce the computation time by at least 4x for smaller value of discount factor ($\gamma$) and by at least 6x for larger value of $\gamma$.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI