共同状態行動埋め込みを用いたマルチエージェントモデルベース強化学習

- 部分観測・動的環境で多数エージェントを協調させるための、model-based multi-agent reinforcement learning フレームワーク。 - joint state-action representation learning と imaginative roll-outs を統合。 - world model を variational auto-encoders で学習し、state-action learned embedding (SALE) で拡張。 - SALE を imagination module と joint agent network に注入。 - 限られた実環境相互作用で長期計画と最適化を改善。

- 従来の multi-agent RL は部分観測・動的環境で情報表現とデータ効率に課題。 - 本手法は model-based と joint state-action embedding を統合し、想像的 roll-out と action value を結合。 - これによりエージェントが集団結果への影響をより豊かに理解。 - 複数ベンチマークで baseline を一貫して上回る。

- world model を variational auto-encoders で学習。 - state-action learned embedding (SALE) を導入し、imagination module と joint agent network に注入。 - imagination module が将来 roll-out を予測。 - joint agent network では個別 action value を mixing network で結合し joint action-value function を推定。 - 想像軌跡と SALE ベース action value を結合。

- StarCraft II Micro-Management、Multi-Agent MuJoCo、Level-Based Foraging のベンチマークで評価。 - baseline アルゴリズムと比較し一貫した性能向上を確認。 - joint state-action learned embeddings の有効性を multi-agent model-based パラダイムで示す。

- 要旨からは不明。 - 限界や失敗事例、計算コスト、スケーラビリティに関する議論は記載なし。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として model-based reinforcement learning、multi-agent reinforcement learning、variational auto-encoders、mixing network が挙げられる。 - 同分野の定番として QMIX、MADDPG、Dreamer などが考えられるが、要旨に記載なし。