日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全強化学習arXiv:2604.22244

ブラックボックスハイブリッド力学系におけるハードアフィン制約を証明付きで満たす制御ポリシーの学習

Learning Control Policies to Provably Satisfy Hard Affine Constraints for Black-Box Hybrid Dynamical Systems

シェア:XThreadsFacebookLINEはてブBluesky

未知の非線形ダイナミクスを持つハイブリッドシステムに対し、制約境界付近でアフィンかつ反発的なポリシーを強制することで、閉ループで安全制約を証明付きで満たす強化学習ポリシーを学習する手法を提案した。

詳しい要約

1. どんなもの?

- ブラックボックスのhybrid dynamical systemsにおいて、affine state constraintsを閉ループで証明可能に満たすRLポリシーを学習する手法。 - システムの非線形動力学は未知で、瞬間的な状態ジャンプ(impactやreset map)が存在する。 - 制約境界付近でポリシーをaffineかつrepulsiveに強制し、リセット前にも第二のrepulsive affine領域を導入することで、リセット後の制約違反を防ぐ。 - 十分条件を導出し、閉ループでの安全性を保証する。

2. 先行研究と比べてどこがすごい?

- 既存のCBFやreachability analysisは動力学の直接知識を必要とするが、本手法はブラックボックスhybridシステムに適用可能。 - 安全RLは既知の動力学に依存したり、報酬整形で違反を抑制するだけだが、本手法は証明可能な制約満足を提供。 - 制約付きpendulumやpaddle juggler環境で、reward shapingやlearned-CBF法と比較し、常に制約を満たしつつ高品質なポリシーを学習できることを示した。

3. 技術・手法の肝は?

- RLポリシーを制約境界近傍でaffineかつrepulsiveに制約する。 - 未知の非線形動力学に対して、このaffine repulsiveポリシーが軌道の制約違反を防ぐ保証を与える。 - hybridシステムの瞬間的な状態ジャンプによる違反を防ぐため、リセット前に第二のrepulsive affine領域を導入。 - これらのポリシーが閉ループで安全制約を満たすための十分条件を導出。

4. どうやって有効だと検証した?

- 制約付きpendulumとpaddle jugglerというhybrid dynamical systems環境で評価。 - 最先端のreward shaping法およびlearned-CBF法と比較。 - 両シナリオで、本手法が常に安全制約を満たしつつ、より高品質なポリシーを学習することを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:control barrier functions (CBFs)、reachability analysis、safe reinforcement learning (RL)、reward shaping、learned-CBF methods。 - 関連手法:hybrid dynamical systems、affine reset maps。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aayushi Shrivastava, Kartik Nagpal, Sairam Jinkala, Jean-Baptiste Bouvier, Negar Mehr

分類: cs.RO

原文アブストラクト

Ensuring safety for black-box hybrid dynamical systems presents significant challenges due to their instantaneous state jumps and unknown explicit nonlinear dynamics. Existing solutions for strict safety constraint satisfaction, like control barrier functions (CBFs) and reachability analysis, rely on direct knowledge of the dynamics. Similarly, safe reinforcement learning (RL) approaches often rely on known system dynamics or merely discourage safety violations through reward shaping. In this work, we want to learn RL policies which provably satisfy affine state constraints in closed loop for black-box hybrid dynamical systems with affine reset maps. Our key insight is forcing the RL policy to be affine and repulsive near the constraint boundaries for the unknown nonlinear dynamics of the system, providing guarantees that the trajectories will not violate the constraint. We further account for constraint violation due to instantaneous state jumps that occur due to impacts or reset maps in the hybrid system by introducing a second repulsive affine region before the reset that prevents post-reset states from violating the constraint. We derive sufficient conditions under which these policies satisfy safety constraints in closed loop. We also compare our approach with state-of-the-art reward shaping and learned-CBF methods on hybrid dynamical systems like the constrained pendulum and paddle juggler environments. In both scenarios, we show that our methodology learns higher quality policies while always satisfying the safety constraints.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI