オンライン最適化によるロボット制御のための効率的なモデルベース強化学習

- 実世界の複雑なロボット制御のための online model-based reinforcement learning アルゴリズム。 - リアルタイムの interaction data から dynamics model を構築し、そのモデルに導かれて policy を更新する。 - sim-to-real の大規模 offline simulation や model-free policy optimization に依存しない直接学習を志向。 - hydraulic excavator arm と soft robot arm で評価。

- 主流の sim-to-real pipeline は大規模 offline simulation と model-free policy optimization に依存するが、本手法は実時間 interaction data から dynamics model を学習し policy 更新に用いる。 - 必要 sample 数を大幅に削減し、real-world rollout data での直接訓練を可能にする。 - simulated data の bias の影響を低減し、高性能 control policy の探索を容易にする。 - model-free reinforcement learning と比べ強い sample efficiency を示す。

- 実時間の interaction data から dynamics model を逐次構築する online model-based reinforcement learning。 - 学習した dynamics model が policy 更新を導く枠組み。 - stochastic online optimization の仮定の下で online optimization analysis を行い、sublinear regret bounds を導出。 - これにより interaction data の増加に伴う性能改善の形式的保証を与える。

- hydraulic excavator arm と soft robot arm で実験的評価を実施。 - model-free reinforcement learning 手法と比較し、強い sample efficiency を示す。 - 数時間で同等の性能に到達。 - payload condition をランダム化した際に、変化する dynamics への robust adaptation も観察。

- 実世界 rollout data での直接訓練により simulated data の bias 影響を低減できると主張。 - sublinear regret bounds は stochastic online optimization 仮定下での形式的保証であり、仮定からの逸脱時の挙動は要旨からは不明。 - payload ランダム化での robust adaptation は観察されているが、他の分布シフトや安全性・制約条件の扱いは要旨からは不明。 - 幅広い困難な control task への on-robot learning の道を開くと述べる。

- 比較対象として言及される model-free reinforcement learning の代表的手法（例: model-free RL）。 - 対比される sim-to-real pipeline 関連の offline simulation を用いる研究。 - online model-based reinforcement learning および regret analysis に関する研究。 - 具体的な論文名は要旨からは不明。