実世界強化学習による能動的知覚行動の獲得

- 実世界ロボットにおける active perception 行動の学習手法 - 部分的観測可能性(partial observability)下で、不足情報を得るために能動的に行動する方策を訓練 - 提案手法は asymmetric advantage weighted regression (AAWR) - 訓練時のみ利用可能な privileged sensors を活用する real-world robot learning recipe - 少数の劣った demonstrations と粗い policy initialization からブートストラップ - 8つの manipulation tasks、3台のロボットで評価

- 従来の標準的な robot learning 技術は active perception 行動の生成が困難 - AAWR は訓練時の privileged sensors を活用し、高品質な privileged value function を学習 - これにより target policy の advantage 推定を改善 - 評価では prior approaches をすべて上回る active perception 行動を合成 - generalist robot policy が苦手とする active perception タスクでも、情報収集行動を効率的に生成

- asymmetric advantage weighted regression (AAWR) - 訓練時に privileged な追加センサへアクセスできる点を利用 - privileged sensors で高品質な privileged value function を訓練 - その value function を用いて target policy の advantage を推定 - 少数の潜在的には suboptimal な demonstrations からブートストラップ - 容易に得られる粗い policy initialization を併用 - これらにより active perception 行動を迅速に獲得しタスク性能を向上

- 8つの manipulation tasks、3台のロボットで評価 - 部分的観測可能性の程度を変化させて検証 - AAWR が信頼できる active perception 行動を合成し、prior approaches をすべて上回ることを確認 - generalist robot policy を初期化に用いた場合も、 severe partial observability 下で動作可能な情報収集行動を効率的に生成できることを確認

- 要旨からは不明 - 限界や失敗事例、privileged sensors 依存性、実運用上の制約などは明示されていない

- 要旨で参照・比較されている具体的な prior approaches は明示されていない - 関連手法として以下が候補 - privileged learning / asymmetric actor-critic - advantage weighted regression (AWR) - imitation learning from suboptimal demonstrations - generalist robot policy - 同分野の定番として reinforcement learning for partially observable tasks、active perception、real-world robot learning の関連研究