粗から細へのQ-attention:離散化による視覚的ロボットマニピュレーションの効率的学習
Coarse-to-Fine Q-attention: Efficient Learning for Visual Robotic Manipulation via Discretisation
シーンを段階的にズームインする粗から細へのQ-attentionで並進空間をほぼ損失なく離散化し、不安定な連続アクター・クリティック法の代わりに離散Q学習を可能にした。疎報酬のRLBenchタスクで最先端性能を達成し、実世界ポリシーを3デモから数分で学習できる。
著者: Stephen James, Kentaro Wada, Tristan Laidlow, Andrew J. Davison
分類: cs.RO, cs.AI, cs.CV, cs.LG
原文アブストラクト
We present a coarse-to-fine discretisation method that enables the use of discrete reinforcement learning approaches in place of unstable and data-inefficient actor-critic methods in continuous robotics domains. This approach builds on the recently released ARM algorithm, which replaces the continuous next-best pose agent with a discrete one, with coarse-to-fine Q-attention. Given a voxelised scene, coarse-to-fine Q-attention learns what part of the scene to 'zoom' into. When this 'zooming' behaviour is applied iteratively, it results in a near-lossless discretisation of the translation space, and allows the use of a discrete action, deep Q-learning method. We show that our new coarse-to-fine algorithm achieves state-of-the-art performance on several difficult sparsely rewarded RLBench vision-based robotics tasks, and can train real-world policies, tabula rasa, in a matter of minutes, with as little as 3 demonstrations.
関連論文
- 経験時代における実世界コード・アズ・ポリシー:ACE-CaP-0マニピュレーション
- 把持のアドミタンスによる入出力特性評価:設計パラメータと把持挙動の接続マニピュレーション
- ManiLadder:カテゴリ別・多難易度タスクラダーによるロボットマニピュレーションのベンチマークマニピュレーション
- 成功確率を変える事象を記憶する:Criticゲート付きイベントメモリによる長期的マニピュレーションマニピュレーション
- BiPOP: 長期的な両腕ロボット操作のための部分順序計画マニピュレーション
- RUMI: 拡張現実と触覚フィードバックを備えたRobotiq対応の汎用マニピュレーションインターフェースマニピュレーション
