SigmaRL: 運動計画のためのサンプル効率と汎化性に優れたマルチエージェント強化学習フレームワーク
SigmaRL: A Sample-Efficient and Generalizable Multi-Agent Reinforcement Learning Framework for Motion Planning
自動運転車の運動計画のための分散型マルチエージェント強化学習フレームワークSigmaRLを提案し、情報密度の高い観測設計によりサンプル効率と未知の交通シナリオへのゼロショット汎化を実現した。
著者: Jianye Xu, Pan Hu, Bassam Alrifaee
分類: cs.RO, cs.LG, cs.MA, cs.SY, eess.SY
原文アブストラクト
This paper introduces an open-source, decentralized framework named SigmaRL, designed to enhance both sample efficiency and generalization of multi-agent Reinforcement Learning (RL) for motion planning of connected and automated vehicles. Most RL agents exhibit a limited capacity to generalize, often focusing narrowly on specific scenarios, and are usually evaluated in similar or even the same scenarios seen during training. Various methods have been proposed to address these challenges, including experience replay and regularization. However, how observation design in RL affects sample efficiency and generalization remains an under-explored area. We address this gap by proposing five strategies to design information-dense observations, focusing on general features that are applicable to most traffic scenarios. We train our RL agents using these strategies on an intersection and evaluate their generalization through numerical experiments across completely unseen traffic scenarios, including a new intersection, an on-ramp, and a roundabout. Incorporating these information-dense observations reduces training times to under one hour on a single CPU, and the evaluation results reveal that our RL agents can effectively zero-shot generalize. Code: github.com/bassamlab/SigmaRL
関連論文
- GARDEN: 証拠ナビゲーションによる汎用自律報酬設計マルチエージェント強化学習
- サポート保持蒸留によるマルチエージェント協調マルチエージェント強化学習
- 未来の協力者と協調する:参加タイミングがずれるマルチエージェント強化学習マルチエージェント強化学習
- 部分的観測動的ゲームにおける未知の対戦相手に対するレベルK政策の編成マルチエージェント強化学習
- 置換ロバスト性だけでは不十分:マルチエージェントTransformer方策における行動崩壊マルチエージェント強化学習
- テスト時マルチエージェント協調のための分解価値勾配フローマルチエージェント強化学習
