WARL: 脚式ロボットのタスク非依存学習のためのレンチ拡張強化学習

本論文は、脚式ロボットの強化学習において、関節空間に限定された行動の探索能力の限界を克服するため、新しい手法WARL (Wrench-Augmented Reinforcement Learning) を提案する。WARLは、行動空間にwrench（力とトルク）を導入し、wrench誘導探索と成功率ベースのカリキュラム機構を組み合わせることで、学習初期の探索能力を拡張する。最終的には、関節制御のみに基づく行動の獲得を目指す。実験では、四足ロボットを用いて、多様な地形やモータータスクに対して、地形固有の報酬調整や複雑なカリキュラム設計を必要とせずに、堅牢に学習できることを示した。

先行研究では、強化学習による脚式ロボットの制御が高い運動性能を達成しているが、行動が関節空間に制限されているため、探索能力が限られていた。WARLは、行動空間にwrenchを導入することで、この探索能力の限界を直接的に拡張する点が新しい。また、成功率ベースのカリキュラム機構（Switching Curriculum）により、wrenchを段階的に除去し、最終的には関節制御のみで動作する方策を学習する。これにより、地形固有の報酬調整や複雑なカリキュラム設計を不要にし、タスク非依存の学習を実現している点が優れている。

手法の核は、行動空間にwrench（力とトルク）を追加することである。具体的には、wrench誘導探索により、学習初期にロボットの身体と環境の相互作用をより広く探索する。さらに、成功率に基づくカリキュラム機構（Switching Curriculum）を導入し、学習の進行に応じてwrenchの影響を徐々に減らし、最終的には関節トルクのみで制御する方策へと移行する。これにより、探索の効率性と最終的な関節制御の実用性を両立させている。

四足ロボットを用いた実験により、WARLが多様な地形やモータータスクに対して、地形固有の報酬調整や複雑なカリキュラム設計なしで堅牢に学習できることを実証した。また、アブレーション研究により、wrenchを段階的に除去するSwitching Curriculumの有効性を検証した。具体的には、Switching Curriculumを導入した場合としない場合を比較し、その効果を確認した。

議論として、wrenchの導入がロボットの物理的構造を十分に活用しない行動を促進する可能性があることが示された。つまり、wrenchベースの探索強化は学習効率の向上に有効であるが、ロボットの物理構造と整合するように設計することが重要な将来の課題であると述べている。この点は、wrenchの導入が必ずしも物理的に理にかなった行動を生むとは限らないことを示唆しており、手法の適用範囲や設計指針に関する議論を呼ぶ。

要旨からは、次に読むべき具体的な論文は不明である。しかし、関連する分野として、脚式ロボットの強化学習における探索手法やカリキュラム学習に関する研究が挙げられる。また、wrenchや力制御を扱ったロボット制御の研究も関連する。具体的には、強化学習による脚式ロボットの歩行制御の基礎的な論文や、カリキュラム学習の一般的な手法に関する論文が参考になると考えられる。