日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全強化学習arXiv:2505.09734

確率線形システム制御のためのリスク対応型安全強化学習

Risk-Aware Safe Reinforcement Learning for Control of Stochastic Linear Systems

シェア:XThreadsFacebookLINEはてブBluesky

確率離散時間線形システムに対し、リスクを考慮した安全な強化学習制御を提案。安全保証器による介入ではなく、安全制御器も学習しRL制御器と組み合わせることで、高信頼な安全性と効率的な計算を両立する。

詳しい要約

1. どんなもの?

- 本論文は、確率的離散時間線形システムに対する risk-aware safe reinforcement learning (RL) 制御設計を提案する。 - 安全 certifier が RL controller に myopic に介入するのではなく、RL controller とは別に risk-informed safe controller も学習し、両者を組み合わせる。 - 安全制御器は piecewise affine controller として学習され、大きな invariant set を持つように設計される。 - 最後に data-driven interpolation technique で safe controller と RL controller を統合する。

2. 先行研究と比べてどこがすごい?

- 安全 certifier による myopic な介入ではなく、RL controller と safe controller の両方を学習して組み合わせる点が特徴。 - 高忠実度の system model に依存せず、限られたデータで high-confidence safety を認証できると主張。 - 2つの安定化制御器の寄与を決めることで、myopic interventions や望ましくない equilibrium への収束を回避できる。 - scalar decision variable と linear programming polyhedral sets 上の最適化により、計算効率が高く扱いやすい解を提供。 - 制御指向のアプローチによりデータ要求と safety violation の分散を低減できると示す。

3. 技術・手法の肝は?

- 閉ループ系を収集データ、decision variable、noise を用いて表現する。 - decision variable が閉ループ系の safety violation の分散に与える影響を定式化する。 - 学習された閉ループ系の safety violation 確率を最小化するように decision variable を設計する。 - 大きな invariant set を得るため、線形制御器ではなく piecewise affine controller を学習する。 - safe controller と RL controller の統合には、ノイズ環境下で RL agent の最適実装を維持しつつ安全性を確保する新しい data-driven interpolation technique を導入する。

4. どうやって有効だと検証した?

- 理論結果を検証するための simulation example が示されている。 - 具体的なシステム、データセット、比較手法、評価指標などの詳細は要旨からは不明。

5. 議論はある?

- 高忠実度モデルに依存せず限られたデータで安全性を認証できる点、myopic intervention の回避、計算効率の高さが利点として議論されている。 - 制御指向アプローチがデータ要求と safety violation の分散を低減することが示されている。 - 限界や仮定、失敗事例、計算複雑性の詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究は明示されていない。 - 関連手法として、safe reinforcement learning、risk-aware RL、control barrier function に基づく安全 certifier、model predictive control などの同分野の定番手法が次に読む候補となる。 - 本論文が用いる piecewise affine controller や data-driven interpolation technique に関連する研究も候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Babak Esmaeili, Nariman Niknejad, Hamidreza Modares

分類: eess.SY, cs.LG, cs.RO, cs.SY, math.OC

原文アブストラクト

This paper presents a risk-aware safe reinforcement learning (RL) control design for stochastic discrete-time linear systems. Rather than using a safety certifier to myopically intervene with the RL controller, a risk-informed safe controller is also learned besides the RL controller, and the RL and safe controllers are combined together. Several advantages come along with this approach: 1) High-confidence safety can be certified without relying on a high-fidelity system model and using limited data available, 2) Myopic interventions and convergence to an undesired equilibrium can be avoided by deciding on the contribution of two stabilizing controllers, and 3) highly efficient and computationally tractable solutions can be provided by optimizing over a scalar decision variable and linear programming polyhedral sets. To learn safe controllers with a large invariant set, piecewise affine controllers are learned instead of linear controllers. To this end, the closed-loop system is first represented using collected data, a decision variable, and noise. The effect of the decision variable on the variance of the safe violation of the closed-loop system is formalized. The decision variable is then designed such that the probability of safety violation for the learned closed-loop system is minimized. It is shown that this control-oriented approach reduces the data requirements and can also reduce the variance of safety violations. Finally, to integrate the safe and RL controllers, a new data-driven interpolation technique is introduced. This method aims to maintain the RL agent's optimal implementation while ensuring its safety within environments characterized by noise. The study concludes with a simulation example that serves to validate the theoretical results.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI