日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全強化学習arXiv:2510.18082

安全フィルタリング下での証明可能に最適な強化学習

Provably Optimal Reinforcement Learning under Safety Filtering

シェア:XThreadsFacebookLINEはてブBluesky

安全フィルタを環境の一部として組み込んだフィルタ済みMDPを定式化し、十分に許容的なフィルタを用いれば漸近性能を損なわずに安全性を保証できることを証明した。

詳しい要約

1. どんなもの?

- 安全フィルタ付き強化学習の性能と安全性の関係を理論的に解析した論文 - 安全性を課すRLを safety-critical Markov decision process (SC-MDP) として定式化 - 破滅的失敗状態を確率的ではなく categorical に回避することを要求 - 安全フィルタを環境の一部とみなした filtered MDP を定義 - 全行動が安全な効果をもたらす MDP - 主定理として安全性と性能最適化の完全分離を示す - Safety Gymnasium 上で理論を実証的に検証

2. 先行研究と比べてどこがすごい?

- 安全フィルタは性能を犠牲にし学習を妨げると一般に認識されてきた - 本研究はこの safety-performance tradeoff が本質的でないことを初めて証明 - 十分に permissive な安全フィルタなら漸近性能を劣化させないことを示す - 従来は経験的・実務的な議論が中心だったのに対し、形式的な理論保証を与える - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は?

- SC-MDP を導入し categorical な失敗回避を要求 - 安全フィルタを環境の一部とみなして filtered MDP を構成 - 主定理の3点 - (i) filtered MDP での学習は categorical に安全 - (ii) 標準的な RL の収束性が filtered MDP に引き継がれる - (iii) filtered MDP で最適な方策は同一フィルタ経由で実行すると SC-MDP の最良安全方策と同一の漸近リターンを達成 - これにより安全性の強制と性能最適化を完全に分離 - 実務レシピは『利用可能な最も permissive な安全フィルタで学習・展開する』

4. どうやって有効だと検証した?

- Safety Gymnasium 上で代表的なタスクと制約を用いて検証 - 学習中の違反がゼロであることを観測 - 最終性能が unfiltered baseline と同等以上であることを確認 - 理論的主張(安全性・収束・最適性)を実験で裏付け - 具体的なタスク名・アルゴリズム名は要旨からは不明

5. 議論はある?

- 安全フィルタが性能を犠牲にするという通念に反証を与える - 十分に permissive なフィルタの存在が前提であり、その設計・入手可能性が議論点 - categorical な安全性要求と高確率回避の違いの実務的含意 - 理論は漸近性能に関するもので、有限時間・sample efficiency への言及は要旨からは不明 - 実環境でのフィルタの permissiveness 評価方法は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究は明示されていない - 関連手法として safety filter、shielded RL、constrained MDP (CMDP)、safe RL の定番文献 - Safety Gymnasium を用いた安全 RL のベンチマーク研究 - categorical safety を扱う safety-critical MDP の理論研究 - 有限時間性能や sample efficiency を扱う安全フィルタ付き RL 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Donggeon David Oh, Duy P. Nguyen, Haimin Hu, Jaime F. Fisac

分類: cs.LG, cs.RO, cs.SY, eess.SY

原文アブストラクト

Recent advances in reinforcement learning (RL) enable its use on increasingly complex tasks, but the lack of formal safety guarantees still limits its application in safety-critical settings. A common practical approach is to augment the RL policy with a safety filter that overrides unsafe actions to prevent failures during both training and deployment. However, safety filtering is often perceived as sacrificing performance and hindering the learning process. We show that this perceived safety-performance tradeoff is not inherent and prove, for the first time, that enforcing safety with a sufficiently permissive safety filter does not degrade asymptotic performance. We formalize RL safety with a safety-critical Markov decision process (SC-MDP), which requires categorical, rather than high-probability, avoidance of catastrophic failure states. Additionally, we define an associated filtered MDP in which all actions result in safe effects, thanks to a safety filter that is considered to be a part of the environment. Our main theorem establishes that (i) learning in the filtered MDP is safe categorically, (ii) standard RL convergence carries over to the filtered MDP, and (iii) any policy that is optimal in the filtered MDP-when executed through the same filter-achieves the same asymptotic return as the best safe policy in the SC-MDP, yielding a complete separation between safety enforcement and performance optimization. We validate the theory on Safety Gymnasium with representative tasks and constraints, observing zero violations during training and final performance matching or exceeding unfiltered baselines. Together, these results shed light on a long-standing question in safety-filtered learning and provide a simple, principled recipe for safe RL: train and deploy RL policies with the most permissive safety filter that is available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI