サブサンプション型行動ベース強化学習のための単純な反応型ニューラルネットワーク
On Simple Reactive Neural Networks for Behaviour-Based Reinforcement Learning
把持・運搬タスクを接近・把持・引き戻しの反応的行動に分解し、各行動を単純な全結合ネットワークで学習した上で、Actor-Criticにより行動の活性化・抑制を学習して組み合わせる手法を提案。8,000エピソードでタスクを学習し、end-to-end手法より大幅に効率的であることを示した。
著者: Ameya Pore, Gerardo Aragon-Camarasa
分類: cs.RO, cs.LG
原文アブストラクト
We present a behaviour-based reinforcement learning approach, inspired by Brook's subsumption architecture, in which simple fully connected networks are trained as reactive behaviours. Our working assumption is that a pick and place robotic task can be simplified by leveraging domain knowledge of a robotics developer to decompose and train such reactive behaviours; namely, approach, grasp, and retract. Then the robot autonomously learns how to combine them via an Actor-Critic architecture. The Actor-Critic policy is to determine the activation and inhibition mechanisms of the reactive behaviours in a particular temporal sequence. We validate our approach in a simulated robot environment where the task is picking a block and taking it to a target position while orienting the gripper from a top grasp. The latter represents an extra degree-of-freedom of which current end-to-end reinforcement learning fail to generalise. Our findings suggest that robotic learning can be more effective if each behaviour is learnt in isolation and then combined them to accomplish the task. That is, our approach learns the pick and place task in 8,000 episodes, which represents a drastic reduction in the number of training episodes required by an end-to-end approach and the existing state-of-the-art algorithms.
関連論文
- フロー反転アクションアンカーによるサンプル効率の高い強化学習方策改善強化学習/マニピュレーション
- フィードバック補正を備えたアクションチャンキングPPO強化学習/マニピュレーション
- 協調デルタ・3-RRSパラレルロボット挿入のための運動学認識型レインボー深層Q学習強化学習/マニピュレーション
- CONTHER: 後知恵経験再生とTransformerによる専門家デモ不要の人間らしい文脈的ロボット学習強化学習/マニピュレーション
- 多様性に基づく軌跡と目標選択を用いたHindsight Experience Replay強化学習/マニピュレーション
- 目標分布で条件付けする汎用強化学習ポリシー強化学習/マニピュレーション
