日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.13131

エントロピー正則化に基づく近位方策最適化(ERPPO)

ERPPO: Entropy Regularization-based Proximal Policy Optimization

シェア:XThreadsFacebookLINEはてブBluesky

マルチエージェント強化学習における非定常な観測環境での方策最適化を改善するため、エントロピー正則化項を導入した新しいPPO手法を提案した。

詳しい要約

1. どんなもの?

- マルチエージェント強化学習(MARL)のための新しいアルゴリズム「Entropy Regularization-based Proximal Policy Optimization (ERPPO)」を提案。 - 既存のMAPPO(Multi-Agent PPO)は、多次元環境での非定常なエージェント観測により最適政策を抽出できない問題に対処。 - 物体検出の曖昧さを考慮し、エントロピー正則化をPPOに導入。 - 高曖昧観測ではL1正則化で探索を促進し、低曖昧観測ではL2正則化で安定化。 - AirSimベースの海上捜索シナリオで評価。

2. 先行研究と比べてどこがすごい?

- 従来のMAPPOは多次元環境で非定常な観測により最適政策を学習できない。 - ERPPOは、Distributional Spatiotemporal Ambiguity (DSA) learnerを導入し、非定常制約下での物体検出の不確実性を推定。 - エントロピー正則化項を動的に調整することで、高曖昧時には探索を強化し、低曖昧時には安定化を図る。 - これにより、検出失敗を減らし、時間-criticalな操作での物体位置特定の成功率を向上。 - 実験でMAPPOよりも高い精度と勾配改善を確認。

3. 技術・手法の肝は?

- まず、多次元観測環境下での物体検出曖昧さを定義。 - Distributional Spatiotemporal Ambiguity (DSA) learnerを訓練し、非定常制約下での物体検出不確実性を推定。 - PPOに新しいエントロピー正則化項を追加。 - この正則化は、高曖昧観測では強いL1正則化を適用して探索的行動を促し、低曖昧観測では弱いL2正則化で近接政策最適化を安定化。 - 動的に政策更新を調整。

4. どうやって有効だと検証した?

- AirSimベースの海上捜索シナリオのテストベッドで実験。 - 提案手法ERPPOが精度性能を向上させることを示した。 - MAPPOよりも高い勾配改善を達成。 - 定性的結果から、視覚的不確実条件下での誤検出抑制におけるERPPOの有効性を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- MAPPO (Multi-Agent Proximal Policy Optimization) - PPO (Proximal Policy Optimization) - Distributional Spatiotemporal Ambiguity (DSA) learner

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Changha Lee, Gyusang Cho

分類: cs.LG, cs.RO

原文アブストラクト

Multi-Agent Proximal Policy Optimization (MAPPO) is a variant of the Proximal Policy Optimization (PPO) algorithm, specifically tailored for multi-agent reinforcement learning (MARL). MAPPO optimizes cooperative multi-agent settings by employing a centralized critic with decentralized actors. However, in case of multi-dimensional environment, MAPPO can not extract optimal policy due to non-stationary agent observation. To overcome this problem, we introduce a novel approach, Entropy Regularization-based Proximal Policy Optimization (ERPPO). For the policy optimization, we first define the object detection ambiguity under multi-dimensional observation environment. Distributional Spatiotemporal Ambiguity (DSA) learner is trained to estimate object detection uncertainty in non-stationary constraints. Then, we enhance PPO with a novel Entropy Regularization term. This regularization dynamically adjusts the policy update by applying a stronger (L1) regularization in high-ambiguity observation to encourage significant exploratory actions and a weaker (L2) regularization in low-ambiguity observation to stabilize the proximal policy optimization. This approach is designed to enhance the probability of successful object localization in time-critical operations by reducing detection failures and optimizing search policy. Experiments on a testbed with AirSim-based maritime searching scenarios show that the proposed ERPPO improves accuracy performance. Our proposed method improves higher gradient than MAPPO. Qualitative results confirm that ERPPO effectiveness in terms of suppressing false detection in visually uncertain conditions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI