経験の選択的共有でマルチエージェント強化学習を改善
Selectively Sharing Experiences Improves Multi-Agent Reinforcement Learning
各エージェントが訓練中に観測した遷移のうち関連性の高い少数の経験のみを他エージェントと共有する手法を提案し、分散型訓練を保ちつつ既存手法を上回る性能を示した。
著者: Matthias Gerstgrasser, Tom Danino, Sarah Keren
分類: cs.LG, cs.AI, cs.MA, cs.RO
原文アブストラクト
We present a novel multi-agent RL approach, Selective Multi-Agent Prioritized Experience Relay, in which agents share with other agents a limited number of transitions they observe during training. The intuition behind this is that even a small number of relevant experiences from other agents could help each agent learn. Unlike many other multi-agent RL algorithms, this approach allows for largely decentralized training, requiring only a limited communication channel between agents. We show that our approach outperforms baseline no-sharing decentralized training and state-of-the art multi-agent RL algorithms. Further, sharing only a small number of highly relevant experiences outperforms sharing all experiences between agents, and the performance uplift from selective experience sharing is robust across a range of hyperparameters and DQN variants. A reference implementation of our algorithm is available at https://github.com/mgerstgrasser/super.
関連論文
- 協調の戦略を意味的に忘却する:マルチエージェント強化学習における役割不変な慣習の除去マルチエージェント強化学習
- GARDEN: 証拠ナビゲーションによる汎用自律報酬設計マルチエージェント強化学習
- サポート保持蒸留によるマルチエージェント協調マルチエージェント強化学習
- 未来の協力者と協調する:参加タイミングがずれるマルチエージェント強化学習マルチエージェント強化学習
- 部分的観測動的ゲームにおける未知の対戦相手に対するレベルK政策の編成マルチエージェント強化学習
- 置換ロバスト性だけでは不十分:マルチエージェントTransformer方策における行動崩壊マルチエージェント強化学習
