グラフニューラルネットワークによる情報集約で実現するスケーラブルなマルチエージェント強化学習
Scalable Multi-Agent Reinforcement Learning through Intelligent Information Aggregation
各エージェントが近傍情報のみを使うマルチエージェント強化学習において、グラフニューラルネットワークでActorとCriticの局所情報を集約するInforMARLを提案し、サンプル効率と任意のエージェント数・障害物数へのスケーラビリティを向上させた。
著者: Siddharth Nayak, Kenneth Choi, Wenqi Ding, Sydney Dolan, Karthik Gopalakrishnan, Hamsa Balakrishnan
分類: cs.MA, cs.AI, cs.RO
原文アブストラクト
We consider the problem of multi-agent navigation and collision avoidance when observations are limited to the local neighborhood of each agent. We propose InforMARL, a novel architecture for multi-agent reinforcement learning (MARL) which uses local information intelligently to compute paths for all the agents in a decentralized manner. Specifically, InforMARL aggregates information about the local neighborhood of agents for both the actor and the critic using a graph neural network and can be used in conjunction with any standard MARL algorithm. We show that (1) in training, InforMARL has better sample efficiency and performance than baseline approaches, despite using less information, and (2) in testing, it scales well to environments with arbitrary numbers of agents and obstacles. We illustrate these results using four task environments, including one with predetermined goals for each agent, and one in which the agents collectively try to cover all goals. Code available at https://github.com/nsidn98/InforMARL.
関連論文
- GARDEN: 証拠ナビゲーションによる汎用自律報酬設計マルチエージェント強化学習
- サポート保持蒸留によるマルチエージェント協調マルチエージェント強化学習
- 未来の協力者と協調する:参加タイミングがずれるマルチエージェント強化学習マルチエージェント強化学習
- 部分的観測動的ゲームにおける未知の対戦相手に対するレベルK政策の編成マルチエージェント強化学習
- 置換ロバスト性だけでは不十分:マルチエージェントTransformer方策における行動崩壊マルチエージェント強化学習
- テスト時マルチエージェント協調のための分解価値勾配フローマルチエージェント強化学習
