日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全強化学習arXiv:2603.23889

制約付き楽観的探索を用いたオフポリシー安全強化学習

Off-Policy Safe Reinforcement Learning with Constrained Optimistic Exploration

シェア:XThreadsFacebookLINEはてブBluesky

安全制約を満たすオフポリシー強化学習アルゴリズムCOX-Qを提案し、コスト制約付き探索と分布価値学習により、サンプル効率と安全性を両立させた。

詳しい要約

1. どんなもの?

- 安全強化学習(safe RL)の手法である。 - 累積コストの制約下でリターンを最大化する方策を学習する。 - off-policy でサンプル効率が高いが、コスト無視の探索と累積コストの推定バイアスにより制約違反が生じる問題に対処する。 - 提案手法は Constrained Optimistic eXploration Q-learning (COX-Q) と呼ばれる。 - コスト制約付きオンライン探索と保守的なオフライン分布価値学習を統合する。

2. 先行研究と比べてどこがすごい?

- 従来の off-policy safe RL はサンプル効率が高い一方、コスト無視の探索と累積コストの推定バイアスにより制約違反が生じる。 - COX-Q はコスト制約付きオンライン探索と保守的なオフライン分布価値学習を統合することで、この問題を解決する。 - 具体的には、報酬とコストの勾配衝突を解消し、信頼領域を適応的に調整して訓練コストを制御する。 - また、truncated quantile critics を採用してコスト価値学習を安定化させる。 - これにより、高いサンプル効率、競争力のあるテスト安全性、制御されたデータ収集コストを実現する。

3. 技術・手法の肝は?

- コスト制約付き楽観的探索戦略を導入する。 - 行動空間における報酬とコストの勾配衝突を解決する。 - 信頼領域を適応的に調整し、訓練コストを制御する。 - 保守的なオフライン分布価値学習を採用する。 - truncated quantile critics を用いてコスト価値学習を安定化させる。 - quantile critics は認識論的不確実性を定量化し、探索を導く。 - これらを統合した off-policy safe RL アルゴリズムである。

4. どうやって有効だと検証した?

- safe velocity、safe navigation、autonomous driving のタスクで実験を行った。 - COX-Q が高いサンプル効率、競争力のあるテスト安全性、制御されたデータ収集コストを達成することを示した。 - 結果は、COX-Q が安全クリティカルな応用に有望な RL 手法であることを強調している。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、off-policy safe RL、truncated quantile critics、分布価値学習、楽観的探索が挙げられる。 - 同分野の定番として、CPO (Constrained Policy Optimization)、PPO-Lagrangian、SAC などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guopeng Li, Matthijs T. J. Spaan, Julian F. P. Kooij

分類: cs.LG, cs.RO

原文アブストラクト

When safety is formulated as a limit of cumulative cost, safe reinforcement learning (RL) aims to learn policies that maximize return subject to the cost constraint in data collection and deployment. Off-policy safe RL methods, although offering high sample efficiency, suffer from constraint violations due to cost-agnostic exploration and estimation bias in cumulative cost. To address this issue, we propose Constrained Optimistic eXploration Q-learning (COX-Q), an off-policy safe RL algorithm that integrates cost-bounded online exploration and conservative offline distributional value learning. First, we introduce a novel cost-constrained optimistic exploration strategy that resolves gradient conflicts between reward and cost in the action space and adaptively adjusts the trust region to control the training cost. Second, we adopt truncated quantile critics to stabilize the cost value learning. Quantile critics also quantify epistemic uncertainty to guide exploration. Experiments on safe velocity, safe navigation, and autonomous driving tasks demonstrate that COX-Q achieves high sample efficiency, competitive test safety performance, and controlled data collection cost. The results highlight COX-Q as a promising RL method for safety-critical applications.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI