日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全強化学習arXiv:2602.05311

摂動下で頑健なニューラルLyapunov障壁証明書の形式的合成

Formal Synthesis of Certifiably Robust Neural Lyapunov-Barrier Certificates

シェア:XThreadsFacebookLINEはてブBluesky

システムダイナミクスの有界な摂動に対して安全性・安定性の保証を維持する頑健なニューラルLyapunov障壁証明書を、敵対的訓練とLipschitz正則化で学習する手法を提案し、倒立振子と2Dドッキングで有効性を示した。

詳しい要約

1. どんなもの?

- 深層強化学習(RL)コントローラの安全性・安定性を検証するための、Neural Lyapunov certificate と Neural barrier certificate を統合した『robust neural Lyapunov barrier certificate』を合成する問題を扱う。 - 既存手法は固定された理想的な無摂動ダイナミクスの下でのみ保証を与えるが、本研究はシステムダイナミクスの有界な摂動に対して保証を維持する robust な certificate の形式的定義と十分条件を提示する。 - 実用的な2環境(Inverted Pendulum と 2D Docking)で有効性を検証する。

2. 先行研究と比べてどこがすごい?

- 既存の Neural Lyapunov/barrier certificate 手法は、固定された理想的な無摂動ダイナミクスでのみ保証を提供し、不確実性によるダイナミクスのずれに対応できない。 - 本研究は、ダイナミクスの有界摂動下でも保証を維持する robust neural Lyapunov barrier certificate を初めて形式的に定義し、Lipschitz 連続性に基づく十分条件を導出した点が新しい。 - 実験では、ベースラインと比較して certified robustness bounds を最大4.6倍、強い摂動下での empirical success rates を最大2.4倍改善した。

3. 技術・手法の肝は?

- robust Lyapunov barrier function を形式的に定義し、有界摂動に対するロバスト性を保証する十分条件を Lipschitz 連続性に基づいて定式化する。 - その条件を強制する実用的な学習目的関数を提案する。具体的には、adversarial training、Lipschitz neighborhood bound、global Lipschitz regularization を組み合わせる。 - これにより、摂動下でも証明可能な安全性・安定性を維持する neural certificate を訓練する。

4. どうやって有効だと検証した?

- 2つの実用的な環境、Inverted Pendulum と 2D Docking で検証した。前者は広く研究されているベンチマークであり、後者は自律システムにおける安全クリティカルなタスクである。 - ベースラインと比較して、certified robustness bounds が最大4.6倍、強い摂動下での empirical success rates が最大2.4倍改善したことを示した。 - これにより、摂動下での安全な RL のための robust neural certificate の訓練の有効性を実証した。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明。 - 有界摂動に対するロバスト性を Lipschitz 連続性に基づいて保証しているが、より一般的な不確実性や非有界摂動への拡張については言及されていない。 - 実験結果は2環境に限られており、他のタスクへの一般化可能性については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として Neural Lyapunov certificate、Neural barrier certificate、adversarial training、Lipschitz regularization が挙げられる。 - 同分野の定番として、安全な強化学習のための Lyapunov-based 手法や barrier certificate を用いた検証手法、および robust RL に関する論文を読むべき。 - 具体的には、Neural Lyapunov Control (Chang et al., 2019) や Safe Reinforcement Learning via Shielding などの関連研究が参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengxiao Wang, Haoze Wu, Gagandeep Singh

分類: cs.LG, cs.AI, cs.RO, cs.SY, eess.SY

原文アブストラクト

Neural Lyapunov and barrier certificates have recently been used as powerful tools for verifying the safety and stability properties of deep reinforcement learning (RL) controllers. However, existing methods offer guarantees only under fixed ideal unperturbed dynamics, limiting their reliability in real-world applications where dynamics may deviate due to uncertainties. In this work, we study the problem of synthesizing \emph{robust neural Lyapunov barrier certificates} that maintain their guarantees under perturbations in system dynamics. We formally define a robust Lyapunov barrier function and specify sufficient conditions based on Lipschitz continuity that ensure robustness against bounded perturbations. We propose practical training objectives that enforce these conditions via adversarial training, Lipschitz neighborhood bound, and global Lipschitz regularization. We validate our approach in two practically relevant environments, Inverted Pendulum and 2D Docking. The former is a widely studied benchmark, while the latter is a safety-critical task in autonomous systems. We show that our methods significantly improve both certified robustness bounds (up to $4.6$ times) and empirical success rates under strong perturbations (up to $2.4$ times) compared to the baseline. Our results demonstrate effectiveness of training robust neural certificates for safe RL under perturbations in dynamics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI