並列ソフトロボットによる動的タスクのためのリアルタイム強化学習
Real-Time Reinforcement Learning for Dynamic Tasks with a Parallel Soft Robot
3Dプリントされた柔らかいアクチュエータで構成されたスチュワートプラットフォーム上で、カリキュラム学習を用いた強化学習により、動的バランス制御を実機でリアルタイムに学習させる手法を実証した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: James Avtges, Jake Ketchum, Millicent Schlafly, Helena Young, Taekyoung Kim, Allison Pinosky, Ryan L. Truby, Todd D. Murphey
分類: cs.RO
原文アブストラクト
Closed-loop control remains an open challenge in soft robotics. The nonlinear responses of soft actuators under dynamic loading conditions limit the use of analytic models for soft robot control. Traditional methods of controlling soft robots underutilize their configuration spaces to avoid nonlinearity, hysteresis, large deformations, and the risk of actuator damage. Furthermore, episodic data-driven control approaches such as reinforcement learning (RL) are traditionally limited by sample efficiency and inconsistency across initializations. In this work, we demonstrate RL for reliably learning control policies for dynamic balancing tasks in real-time single-shot hardware deployments. We use a deformable Stewart platform constructed using parallel, 3D-printed soft actuators based on motorized handed shearing auxetic (HSA) structures. By introducing a curriculum learning approach based on expanding neighborhoods of a known equilibrium, we achieve reliable single-deployment balancing at arbitrary coordinates. In addition to benchmarking the performance of model-based and model-free methods, we demonstrate that in a single deployment, Maximum Diffusion RL is capable of learning dynamic balancing after half of the actuators are effectively disabled, by inducing buckling and by breaking actuators with bolt cutters. Training occurs with no prior data, in as fast as 15 minutes, with performance nearly identical to the fully-intact platform. Single-shot learning on hardware facilitates soft robotic systems reliably learning in the real world and will enable more diverse and capable soft robots.
関連論文
- ソフトロボティクスのための高速化強化学習：数年が数時間にソフトロボティクス/強化学習
- 腱駆動型ロボットクラゲ：拘束型ソフトアクチュエーションと強化学習による深度制御ソフトロボティクス/強化学習
- ソフトロボットにおける全身インタラクションによる推論と操作の学習ソフトロボティクス/強化学習
- 線形埋め込み空間での強化学習によるソフトロボット構成横断的な汎用制御ソフトロボティクス/強化学習
- ソフトロボットアームの集中型・分散型強化学習制御の定量的比較ソフトロボティクス/強化学習
- 這い方を学ぶ：ソフトロボットの適応移動のための潜在モデルベース強化学習ソフトロボティクス/強化学習
