強化学習ロボットのオンライン行動修正による表現豊かなユーザ制御
Online Behavior Modification for Expressive User Control of RL-Trained Robots
強化学習で訓練したロボットの行動を、ユーザが実行中にリアルタイムで調整できる「オンライン行動修正」を提案し、行動多様性に基づくACORDアルゴリズムを開発した。描画タスクのユーザ研究で、自律性と堅牢性を保ちつつ共有自律と同等の制御感・表現性を実現できることを示した。
著者: Isaac Sheidlower, Mavis Murdock, Emma Bethel, Reuben M. Aronson, Elaine Schaertl Short
分類: cs.RO, cs.AI
原文アブストラクト
Reinforcement Learning (RL) is an effective method for robots to learn tasks. However, in typical RL, end-users have little to no control over how the robot does the task after the robot has been deployed. To address this, we introduce the idea of online behavior modification, a paradigm in which users have control over behavior features of a robot in real time as it autonomously completes a task using an RL-trained policy. To show the value of this user-centered formulation for human-robot interaction, we present a behavior diversity based algorithm, Adjustable Control Of RL Dynamics (ACORD), and demonstrate its applicability to online behavior modification in simulation and a user study. In the study (n=23) users adjust the style of paintings as a robot traces a shape autonomously. We compare ACORD to RL and Shared Autonomy (SA), and show ACORD affords user-preferred levels of control and expression, comparable to SA, but with the potential for autonomous execution and robustness of RL.
関連論文
- 博物館で群衆との関わり方を強化学習する対話型彫刻システム強化学習/ヒューマンロボットインタラクション
- 人間の同時操作とフィードバックを用いたActor-Critic強化学習強化学習/ヒューマンロボットインタラクション
