日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全なオフライン強化学習arXiv:2603.22292

ハード制約を超えて:安全なオフライン強化学習のための予算条件付き到達可能性

Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

累積コスト制約を扱う安全なオフライン強化学習の新しい手法を提案。安全条件付き到達可能性集合を定義し、不安定なmin/max最適化を避けつつ安全ポリシーを学習する。

詳しい要約

1. どんなもの?

- オフライン強化学習(offline RL)における安全性制約を扱う新しい手法を提案。 - 累積コスト制約を考慮した安全到達可能性(safety reachability)を定義。 - 報酬最大化と安全コスト制約を分離し、安定した最適化を実現。 - 環境との相互作用なしに固定データセットから安全な方策を学習。

2. 先行研究と比べてどこがすごい?

- 従来の到達可能性手法はハードな安全制約のみを扱い、累積コスト制約への拡張はほとんどなかった。 - 既存の安全RLは不安定なmin/maxやLagrangian最適化に依存しがちだが、本手法はそれらを回避。 - オフライン設定で安全性を維持しつつ、最先端ベースラインと同等以上の性能を達成。

3. 技術・手法の肝は?

- 安全性条件付き到達可能性集合(safety-conditioned reachability set)を定義。 - この集合は報酬最大化と累積安全コスト制約を分離する。 - 不安定なmin/maxやLagrangian最適化を用いずに安全制約を強制。 - 固定データセットから安全な方策を学習するオフライン安全RLアルゴリズム。

4. どうやって有効だと検証した?

- 標準的なオフライン安全RLベンチマークで実験。 - 実世界の海事ナビゲーションタスクでも評価。 - 最先端ベースラインと比較し、安全性を維持しながら同等以上の性能を示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Offline Safe RLのベンチマーク(例:DSRL, Bullet-Safety-Gym)や、Lagrangian手法、CPO(Constrained Policy Optimization)などが関連。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Janaka Chathuranga Brahmanage, Akshat Kumar

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Sequential decision making using Markov Decision Process underpins many realworld applications. Both model-based and model free methods have achieved strong results in these settings. However, real-world tasks must balance reward maximization with safety constraints, often conflicting objectives, that can lead to unstable min/max, adversarial optimization. A promising alternative is safety reachability analysis, which precomputes a forward-invariant safe state, action set, ensuring that an agent starting inside this set remains safe indefinitely. Yet, most reachability based methods address only hard safety constraints, and little work extends reachability to cumulative cost constraints. To address this, first, we define a safetyconditioned reachability set that decouples reward maximization from cumulative safety cost constraints. Second, we show how this set enforces safety constraints without unstable min/max or Lagrangian optimization, yielding a novel offline safe RL algorithm that learns a safe policy from a fixed dataset without environment interaction. Finally, experiments on standard offline safe RL benchmarks, and a real world maritime navigation task demonstrate that our method matches or outperforms state of the art baselines while maintaining safety.

  1. 1GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  2. 2パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  3. 3SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  4. 4日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI