モデルベース強化学習における動力学変化下でのリプレイ保持の特性評価

- 継続的なmodel-based RLにおけるreplay retentionの問題を研究。 - dynamics shift後のadaptationにおいて、古いreplayデータの保持が与える影響を分析。 - 変化の大きさとage-staleness AUCの2つの指標でトレードオフを特徴付ける。 - 2つのlocomotion morphology、2つのmodel-based RLアルゴリズム、Real-World RL benchmarkの摂動でテスト。 - 実機ではstalenessラベルが無いため、interaction dataからestimatorを構築し、replay戦略選択に必要な量を推定可能か評価。

- 先行研究と比べて、replay retentionのトレードオフを定量的に特徴付ける点が新しい。 - 変化の大きさとage-staleness AUCという指標を導入。 - 古いデータの保持がadaptationを遅くする一方、除去はデータ削減やdynamics再発時にコストがかかることを示す。 - 実機展開を想定し、stalenessラベル無しでestimatorを構築するアプローチを評価。

- 変化の大きさとage-staleness AUCを定義。 - AUCはtransition ageがstaleとfreshをどれだけ分離できるかを測定。 - 2つのlocomotion morphologyと2つのmodel-based RLアルゴリズムで実験。 - Real-World RL benchmarkの摂動を使用。 - interaction dataからestimatorを構築し、replay戦略選択に必要な量を推定。

- 2つのlocomotion morphology、2つのmodel-based RLアルゴリズム、Real-World RL benchmarkの摂動で効果をテスト。 - 変化の大きさとdynamicsの進化に応じてreplay retentionが依存することを示す。 - estimatorが永久変化後のreplay戦略選択に必要な量を提供できるか評価。

- 古いデータの忘却は大きな永続的変化後には有効だが、dynamicsが再発し古いデータが再び有用になる場合には有害。 - replay戦略の選択は、古いデータがいつ役立つか、いつ害になるかを予測することに依存。 - 実機ではstalenessラベルが無いため、estimatorの必要性を議論。

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Continual Learning in RL、Model-Based RL、Experience Replay、Real-World RL benchmarkに関する論文が挙げられる。