強化学習/安全制御2025/6/1arXiv:2506.06954

リスク感応型行動価値反復と分位点回帰による安全志向強化学習制御

Safety-Aware Reinforcement Learning for Control via Risk-Sensitive Action-Value Iteration and Quantile Regression

CVaRを用いたリスク正則化分位点ベース強化学習を提案し、動的環境での移動ロボット制御において衝突を減らし目標達成率を向上させる。

詳しい要約

1. どんなもの？

- 安全制約を考慮した強化学習（RL）の制御手法 - 行動価値反復（action-value iteration）をベースにしたアルゴリズム - quantile regression を用いて期待コストの分布を学習 - Conditional Value-at-Risk (CVaR) を組み込んだ risk-regularized quantile-based アルゴリズムを提案 - 複雑な neural architecture を必要とせず安全制約を強制 - 移動ロボットの dynamic reach-avoid タスクへの適用を想定

2. 先行研究と比べてどこがすごい？

- 主流の approximate action-value iteration RL は overestimation bias に悩まされる - quantile-based 手法は quantile regression でこのバイアスを低減するが、安全制約の保証は課題 - 既存の安全RL手法は複雑な neural architecture や手動の tradeoff を要することが多い - 提案手法は複雑な構造なしに CVaR を統合し安全を強制 - risk-neutral 手法と比べ goal successes 増、collisions 減、安全-性能 trade-off 改善

3. 技術・手法の肝は？

- risk-regularized quantile-based アルゴリズム - Conditional Value-at-Risk (CVaR) を組み込み安全制約を強制 - quantile regression により期待コストの分布を学習 - risk-sensitive distributional Bellman operator の収縮性を Wasserstein 空間で理論保証 - 一意なコスト分布への収束を保証 - 複雑な neural architecture を必要としない設計

4. どうやって有効だと検証した？

- 移動ロボットの dynamic reach-avoid タスクのシミュレーションで検証 - risk-neutral 手法との比較を実施 - 提案手法がより多くの goal successes とより少ない collisions を達成 - 安全-性能 trade-off が改善されることを示す - 理論面では risk-sensitive distributional Bellman operator の収縮性と一意なコスト分布への収束を保証

5. 議論はある？

- 理論保証は Wasserstein 空間における収縮性と一意なコスト分布への収束に限定 - 実機実験やシミュレーション以外の検証は要旨からは不明 - CVaR のリスクレベルや quantile 数の設定感度は要旨からは不明 - 複雑な neural architecture を要さない点が実用上の利点として議論可能 - 安全制約の厳密な充足性と性能の trade-off の詳細は要旨からは不明

6. 次に読むべき論文は？

- quantile regression を用いた distributional RL の代表的手法（例: QR-DQN） - CVaR を用いた risk-sensitive RL の関連研究 - distributional Bellman operator の収縮性に関する理論研究 - safe RL における制約付き最適化手法（例: CPO, Lagrangian 法） - dynamic reach-avoid タスクにおける安全制御の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Clinton Enwerem, Aniruddh G. Puranic, John S. Baras, Calin Belta

分類: cs.LG, cs.RO

原文アブストラクト

Mainstream approximate action-value iteration reinforcement learning (RL) algorithms suffer from overestimation bias, leading to suboptimal policies in high-variance stochastic environments. Quantile-based action-value iteration methods reduce this bias by learning a distribution of the expected cost-to-go using quantile regression. However, ensuring that the learned policy satisfies safety constraints remains a challenge when these constraints are not explicitly integrated into the RL framework. Existing methods often require complex neural architectures or manual tradeoffs due to combined cost functions. To address this, we propose a risk-regularized quantile-based algorithm integrating Conditional Value-at-Risk (CVaR) to enforce safety without complex architectures. We also provide theoretical guarantees on the contraction properties of the risk-sensitive distributional Bellman operator in Wasserstein space, ensuring convergence to a unique cost distribution. Simulations of a mobile robot in a dynamic reach-avoid task show that our approach leads to more goal successes, fewer collisions, and better safety-performance trade-offs than risk-neutral methods.

arXivで原文を読む →arXiv概要ページ

リスク感応型行動価値反復と分位点回帰による安全志向強化学習制御

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell