高次元動的システムの適応制御に向けたマルチタイムスケール安定性保持階層型強化学習コントローラフレームワーク
A Novel Multi-Timescale Stability-Preserving Hierarchical Reinforcement Learning Controller Framework for Adaptive Control in High-Dimensional Dynamical Systems
階層型強化学習とニューラルリアプノフ関数を組み合わせ、高次元確率システムの安定性を保証しながら制御するフレームワークを提案。8次元超混沌系と5自由度ロボットマニピュレータで有効性を実証した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Mohammad Ali Labbaf Khaniki, Fateme Taroodi, Benyamin Safizadeh
分類: cs.RO, cs.SY, eess.SY
原文アブストラクト
Controlling high-dimensional stochastic systems, critical in robotics, autonomous vehicles, and hyperchaotic systems, faces the curse of dimensionality, lacks temporal abstraction, and often fails to ensure stochastic stability. To overcome these limitations, this study introduces the Multi-Timescale Lyapunov-Constrained Hierarchical Reinforcement Learning (MTLHRL) framework. MTLHRL integrates a hierarchical policy within a semi-Markov Decision Process (SMDP), featuring a high-level policy for strategic planning and a low-level policy for reactive control, which effectively manages complex, multi-timescale decision-making and reduces dimensionality overhead. Stability is rigorously enforced using a neural Lyapunov function optimized via Lagrangian relaxation and multi-timescale actor-critic updates, ensuring mean-square boundedness or asymptotic stability in the face of stochastic dynamics. The framework promotes efficient and reliable learning through trust-region constraints and decoupled optimization. Extensive simulations on an 8D hyperchaotic system and a 5-DOF robotic manipulator demonstrate MTLHRL's empirical superiority. It significantly outperforms baseline methods in both stability and performance, recording the lowest error indices (e.g., Integral Absolute Error (IAE): 3.912 in hyperchaotic control and IAE: 1.623 in robotics), achieving faster convergence, and exhibiting superior disturbance rejection. MTLHRL offers a theoretically grounded and practically viable solution for robust control of complex stochastic systems.
関連論文
- エンティティ中心の階層型強化学習と因子分解サブゴール拡散階層型強化学習
- MRS: 階層型強化学習エージェントのためのマルチ解像度スキル階層型強化学習
- DHP: 階層型強化学習エージェントのための離散階層計画階層型強化学習
- 意味的ゴールを用いた解釈可能な階層型エージェントフレームワーク階層型強化学習
- シンボリック行動としての時間的拡張スキル学習による連続領域の計画階層型強化学習
- 混合可観測性下での階層型強化学習階層型強化学習
