Q-CP:協調計画のための行動価値学習
Q-CP: Learning Action Values for Cooperative Planning
モンテカルロ木探索にQ学習を組み合わせ、行動価値を探索と方策生成に活用することで、マルチロボットの協調計画を効率化する手法を提案し、複数の協調タスクで有効性を示した。
著者: Francesco Riccio, Roberto Capobianco, Daniele Nardi
分類: cs.RO, cs.AI
原文アブストラクト
Research on multi-robot systems has demonstrated promising results in manifold applications and domains. Still, efficiently learning an effective robot behaviors is very difficult, due to unstructured scenarios, high uncertainties, and large state dimensionality (e.g. hyper-redundant and groups of robot). To alleviate this problem, we present Q-CP a cooperative model-based reinforcement learning algorithm, which exploits action values to both (1) guide the exploration of the state space and (2) generate effective policies. Specifically, we exploit Q-learning to attack the curse-of-dimensionality in the iterations of a Monte-Carlo Tree Search. We implement and evaluate Q-CP on different stochastic cooperative (general-sum) games: (1) a simple cooperative navigation problem among 3 robots, (2) a cooperation scenario between a pair of KUKA YouBots performing hand-overs, and (3) a coordination task between two mobile robots entering a door. The obtained results show the effectiveness of Q-CP in the chosen applications, where action values drive the exploration and reduce the computational demand of the planning process while achieving good performance.
関連論文
- ロボットの視点を超えて:相棒の目で見る協調行動マルチロボット協調
- 見つけた時より良い状態に:逐次タスクにおける価値関数を介した協調マルチロボット協調
- DuoMind: 意味的通信による分散マルチロボット協調マルチロボット協調
- LLMベースのマルチロボット協調における物理的失敗に対するオンデマンド人間支援による精神的負荷の軽減マルチロボット協調
- CoLF: 視覚言語ガイド付きマルチロボット協調運搬のための一貫したリーダー・フォロワー方策学習マルチロボット協調
- 適応的グループ交渉による異種マルチロボット協調と大規模言語モデルの活用マルチロボット協調
