ロボットがロボットを訓練：ヒューマノイドのための実世界ポリシー自動適応と学習

- ヒューマノイドの実世界RL学習を自動化する枠組み Robot-Trains-Robot (RTR) - ロボットアームの teacher が humanoid student を能動的に支持・誘導 - 保護、学習スケジュール、reward、perturbation、failure detection、自動 reset を提供 - 人間の介入を最小化し、長期の実世界学習を可能にする - 併せて sim-to-real 転移を安定化する新規 RL pipeline を提案 - 実世界で単一の dynamics-encoded latent variable を最適化 - 対象は humanoid の実世界 locomotion/control 学習

- 従来は simulation-based RL が humanoid locomotion を大きく進展させたが、実世界 RL を scratch から行う例や pretrained policy から適応する例は稀 - 実世界学習は sim-to-real gap 克服に重要だが、安全性・reward 設計・学習効率に大きな課題 - RTR は teacher ロボットアームによる保護・誘導・自動 reset 等でこれらの課題に対処 - 人間の介入を最小化した長期実世界 training を可能にする点が特徴 - 単一 latent variable の実世界最適化により sim-to-real 転移を促進・安定化する RL pipeline を提案

- RTR framework - robotic arm teacher が humanoid student を支持・誘導 - 保護、learning schedule、reward、perturbation、failure detection、automatic resets を提供 - 新規 RL pipeline - 実世界で単一の dynamics-encoded latent variable を最適化 - sim-to-real transfer を促進・安定化 - 詳細なアルゴリズムや latent variable の具体的構成は要旨からは不明

- 実世界の humanoid 2 タスクで検証 - 歩行 policy の fine-tuning による precise speed tracking - humanoid swing-up task の scratch からの学習 - これらにより RTR 型システムによる実世界 humanoid learning の可能性を示す - 定量的評価指標や比較実験の詳細は要旨からは不明

- 実世界 RL の安全性・reward 設計・学習効率の課題に対し RTR が対処する枠組みを提示 - 人間の介入を最小化した長期実世界 training の実現可能性を示唆 - 限界や失敗事例、スケーラビリティ、他タスクへの一般化については要旨からは不明 - 詳細な議論は本文参照が必要

- simulation-based reinforcement learning (RL) による humanoid locomotion の先行研究 - sim-to-real transfer に関する研究 - dynamics-encoded latent variable を用いた RL / domain randomization 系手法 - humanoid swing-up task や precise speed tracking に関する制御・RL 研究 - 要旨で個別論文の参照は明示されていないため、上記は同分野の一般的手法・課題名