有界サポート進化戦略による方策改善

- ロボットの policy refinement のための手法論文。 - on-policy RL の noisy で low-signal な勾配問題に対処。 - Evolution Strategies (ES) を policy-gradient proxy として再検討。 - bounded, antithetic triangular perturbations で探索を局所化。 - 提案手法は Triangular-Distribution ES (TD-ES)。 - PPO pretraining + TD-ES refinement の二段階 pipeline。

- 従来の on-policy RL は noisy, low-signal gradients に悩まされる。 - ES を policy-gradient proxy として再評価する点が特徴。 - 探索を bounded, antithetic triangular perturbations で局所化。 - centered-rank finite-difference estimator を組み合わせる。 - PPO 比で success rate を 26.5% 相対改善、variance も大幅低減。 - 単純で compute-light な refinement 経路を提示。

- Triangular-Distribution ES (TD-ES) を提案。 - bounded triangular noise を使用。 - antithetic perturbations を採用。 - centered-rank finite-difference estimator で更新。 - stable かつ parallelizable な gradient-free updates を実現。 - PPO pretraining 後の refinement 段階に適用。 - 初期の sample efficiency を保ちつつ後段の robust な gains を狙う。

- 一連の robotic manipulation tasks で評価。 - PPO pretraining + TD-ES refinement の二段階 pipeline を検証。 - PPO 比で success rates が 26.5% 相対向上。 - variance が大きく低減することを確認。 - 詳細なタスク構成や比較条件は要旨からは不明。

- 要旨からは不明。 - ただし bounded triangular perturbations の探索局所化が鍵と示唆。 - compute-light で simple な refinement 経路という主張。 - 限界や失敗事例、適用範囲の議論は要旨からは不明。

- PPO (pretraining の比較対象)。 - Evolution Strategies (ES) の関連研究。 - centered-rank finite-difference estimator 関連手法。 - antithetic perturbations を用いる ES 研究。 - robotic manipulation における policy refinement 研究。 - 具体的な参照論文は要旨からは不明。