エントロピー探索による安全なマルチエージェント協調
Safe Multiagent Coordination via Entropic Exploration
チーム制約下でのマルチエージェント強化学習において、観測エントロピー最大化で探索を促し、安全性を保ちつつ協調行動を学習する手法E2Cを提案。
著者: Ayhan Alp Aydeniz, Enrico Marchesini, Robert Loftin, Christopher Amato, Kagan Tumer
分類: cs.MA, cs.AI, cs.RO
原文アブストラクト
Many real-world multiagent learning problems involve safety concerns. In these setups, typical safe reinforcement learning algorithms constrain agents' behavior, limiting exploration -- a crucial component for discovering effective cooperative multiagent behaviors. Moreover, the multiagent literature typically models individual constraints for each agent and has yet to investigate the benefits of using joint team constraints. In this work, we analyze these team constraints from a theoretical and practical perspective and propose entropic exploration for constrained multiagent reinforcement learning (E2C) to address the exploration issue. E2C leverages observation entropy maximization to incentivize exploration and facilitate learning safe and effective cooperative behaviors. Experiments across increasingly complex domains show that E2C agents match or surpass common unconstrained and constrained baselines in task performance while reducing unsafe behaviors by up to $50\%$.
関連論文
- GARDEN: 証拠ナビゲーションによる汎用自律報酬設計マルチエージェント強化学習
- サポート保持蒸留によるマルチエージェント協調マルチエージェント強化学習
- 未来の協力者と協調する:参加タイミングがずれるマルチエージェント強化学習マルチエージェント強化学習
- 部分的観測動的ゲームにおける未知の対戦相手に対するレベルK政策の編成マルチエージェント強化学習
- 置換ロバスト性だけでは不十分:マルチエージェントTransformer方策における行動崩壊マルチエージェント強化学習
- テスト時マルチエージェント協調のための分解価値勾配フローマルチエージェント強化学習
