SkillBlender：スキルブレンドによる汎用人型ロコマニピュレーション

- 人型ロボットの全身 loco-manipulation を対象とした階層型強化学習フレームワーク SkillBlender の提案 - 目標条件付きでタスク非依存の primitive skills を事前学習し、それらを動的に blending して複雑な loco-manipulation タスクを達成 - 併せて SkillBench を導入 - 並列・cross-embodiment・多様な simulated benchmark - 3 embodiments、4 primitive skills、8 つの難易度の高い loco-manipulation タスクを含む - 精度と実現可能性のバランスを測る科学的評価指標を付随

- 近年の humanoid whole-body control / loco-manipulation は optimal control や reinforcement learning で進展 - しかし既存手法はタスクごとに煩雑な task-specific tuning が必要で、versatility と scalability が制限される - SkillBlender は最小限の task-specific reward engineering で多様なタスクに対応 - 実験で全 baselines を大きく上回り、reward hacking を避けるよう自然に正則化され、より正確で実現可能な動きが得られると報告

- 階層型強化学習 (hierarchical reinforcement learning) を採用 - 第一段階で goal-conditioned かつ task-agnostic な primitive skills を pretrain - 第二段階でこれらの skills を動的に blend し、複雑な loco-manipulation タスクを遂行 - タスク固有の reward engineering を最小化する設計 - 詳細なネットワーク構成や blending のアルゴリズムは要旨からは不明

- SkillBench 上で extensive simulated experiments を実施 - 3 embodiments、4 primitive skills、8 つの challenging loco-manipulation タスクで評価 - 精度と実現可能性のバランスを測る評価指標を用いて比較 - 提案手法が全 baselines を有意に上回ることを示す - reward hacking を避ける正則化効果と、より正確・実現可能な動きを確認

- reward hacking を自然に抑制する正則化効果が得られた点を議論 - 精度と実現可能性のバランスを評価する指標の設計に言及 - 実機実験や sim-to-real の検証については要旨からは不明 - 限界や失敗ケースの詳細は要旨からは不明

- 要旨で直接比較されている個別研究名は記載なし - 関連手法として optimal control ベースの humanoid whole-body control、reinforcement learning ベースの loco-manipulation、hierarchical reinforcement learning、goal-conditioned skill learning が挙げられる - 同分野の定番として humanoid whole-body control や loco-manipulation の強化学習研究、skill blending / mixture of primitives 関連研究を次に読む候補とする