PERA: 全身制御の継続学習に向けたロボット行動用プラグインエキスパート

- ヒューマノイドロボットの whole-body control において、既存の運動能力を再利用して新規スキルを学習する手法 PERA を提案する研究。 - 事前学習済みの mixture-of-experts policy を凍結し、タスク専用の expert とその routing score を追加学習する。 - Unitree G1 simulation で評価し、追加モジュールは base actor の約1.03%のパラメータで済む。

- 全 policy の fine-tuning は既存行動に影響しうる点、スキルごとに別 policy を訓練すると訓練・維持コストが増える点を課題として挙げる。 - PERA は pretrained mixture-of-experts policy を凍結したまま expert と routing score のみを追加学習するため、既存能力を保持しつつ低コストで新スキルを獲得できる。 - expert を無効化すると base policy の元の計算経路に戻り、元の126モーションを完全に実行できる点が特徴。

- 事前学習済み mixture-of-experts policy を凍結し、新タスク用の task expert と routing score を追加する。 - 学習信号は task rewards または teacher-action supervision を用いる。 - expert の有効/無効で計算経路を切り替え、無効時は base policy の元の経路を復元する設計。

- Unitree G1 simulation で、pretrained policy 上に PERA を適用し10の新規タスクを全て完了。 - expert を無効化すると base policy が元の126モーションを全て実行できることを確認。 - expert を有効化すると、その expert の訓練に使っていない一部の dance motions の実行も改善。 - HoloMotion を用いた実験で、異なる base policies にも適用可能なことを示す。

- expert の効果が訓練対象外の dance motions にも及ぶことを報告し、汎化の可能性を示唆。 - 一方、routing score の学習安定性や expert 間の干渉、実機での検証については要旨からは不明。 - 長期的な continual learning での忘却や expert 数の増加に伴うコストについては要旨からは不明。

- 要旨で参照される HoloMotion および mixture-of-experts policy 関連の研究。 - 比較対象として明示された個別 policy 訓練や全 policy fine-tuning の手法。 - 同分野の定番として motion imitation や whole-body control の強化学習研究。