日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.10228

SHAPO: シャープネスを考慮した安全探索のための方策最適化

SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration

シェア:XThreadsFacebookLINEはてブBluesky

エピステミック不確実性に基づく安全探索手法を提案し、パラメータ摂動に対する感度を利用して方策更新を悲観的にすることで、未探索領域での安全な行動を促進する。

詳しい要約

1. どんなもの?

- 安全な探索を実現するための強化学習(RL)手法。 - 認識的不確実性を考慮し、actorのパラメータ摂動に対する感度を不確実性の代理指標として利用。 - Sharpness-Aware Policy Optimization (SHAPO) を提案。 - 摂動パラメータで勾配を評価する方策更新則。 - 安全クリティカルな領域での保守的行動を促す。

2. 先行研究と比べてどこがすごい?

- 既存の安全探索手法と比較して、安全性とタスク性能の両方を一貫して改善。 - パレートフロンティアを大幅に拡大。 - 認識的不確実性を直接的に考慮する点が新しい。 - 従来の手法では達成できなかった安全と性能のトレードオフを改善。

3. 技術・手法の肝は?

- 摂動パラメータで勾配を評価するsharpness-awareな方策更新則。 - 方策更新をactorの認識的不確実性に対して悲観的にする。 - 解析的に、この調整が方策勾配を暗黙的に再重み付けすることを示す。 - 稀な不安全行動の影響を増幅し、既に安全な行動の寄与を抑制。 - 未探索領域での保守的行動に学習をバイアス。

4. どうやって有効だと検証した?

- 複数の連続制御タスクで評価。 - 既存のベースラインと比較して、安全性とタスク性能の両方を一貫して改善。 - パレートフロンティアを大幅に拡大することを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Safe RLの手法(例: Constrained Policy Optimization (CPO), Trust Region Policy Optimization (TRPO))や、Sharpness-Aware Minimization (SAM) が関連。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaustubh Mani, Yann Pequignot, Vincent Mai, Liam Paull

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Safe exploration is a prerequisite for deploying reinforcement learning (RL) agents in safety-critical domains. In this paper, we approach safe exploration through the lens of epistemic uncertainty, where the actor's sensitivity to parameter perturbations serves as a practical proxy for regions of high uncertainty. We propose Sharpness-Aware Policy Optimization (SHAPO), a sharpness-aware policy update rule that evaluates gradients at perturbed parameters, making policy updates pessimistic with respect to the actor's epistemic uncertainty. Analytically we show that this adjustment implicitly reweighs policy gradients, amplifying the influence of rare unsafe actions while tempering contributions from already safe ones, thereby biasing learning toward conservative behavior in under-explored regions. Across several continuous-control tasks, our method consistently improves both safety and task performance over existing baselines, significantly expanding their Pareto frontiers.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI