MoRe-ERL: エピソード強化学習による動作残差学習

- MoRe-ERLは、Episodic Reinforcement Learning（ERL）とresidual learningを組み合わせたフレームワーク。 - 事前計画されたreference trajectoryを、安全・実行可能・効率的なタスク特化trajectoryへと洗練する。 - 任意のERL手法やmotion generatorに組み込める汎用性を持つ。 - 修正が必要なtrajectory segmentを特定しつつ、重要なタスク関連maneuverは保持する。

- 従来のERLによるゼロからの学習（training from scratch）と比較し、residual learningが大幅に優れると報告。 - サンプル効率とタスク性能の両面で上回る。 - 事前計画trajectoryを活用することで、学習の出発点を改善できる点が利点。 - 具体的な先行研究名は要旨からは不明。

- ERLとresidual learningの統合が中核。 - trajectoryのうち修正が必要なsegmentを同定し、重要なタスク関連maneuverは保存。 - B-Spline-based movement primitivesを用いて滑らかなresidual adjustmentを生成。 - これにより動的タスク文脈への適応性とtrajectory refinementの滑らかさを確保。

- 実験により、residual learningがERLのtraining from scratchよりサンプル効率・タスク性能で優れることを示した。 - hardware evaluationを実施し、simulationで学習したpolicyを実世界システムへ直接deploy可能なことを確認。 - sim-to-real gapが最小であることを示した。 - 具体的なタスク・指標は要旨からは不明。

- 任意のERL手法・motion generatorへ組み込める汎用性を主張。 - 重要なmaneuverを保持しつつ修正segmentを特定する設計の妥当性が議論点になり得る。 - sim-to-real gapの最小化を実機評価で示す一方、詳細な限界や失敗事例は要旨からは不明。 - 定量的な比較条件やbaselineの詳細は要旨からは不明。

- 要旨で参照/比較されているERL手法（Episodic Reinforcement Learning）の代表的論文。 - residual learningおよびresidual policyに関する関連研究。 - B-Spline-based movement primitives（DMP等のmovement primitive系）の文献。 - sim-to-real transferに関する定番研究。 - 具体的な論文名は要旨からは不明。