ソフトロボットアームの集中型・分散型強化学習制御の定量的比較

- 軟体ロボットアームを Cosserat rod としてシミュレーション上でモデル化し、その制御における centralised と distributed の multi-agent reinforcement learning (MARL) アーキテクチャを定量的に比較した研究。 - PyElastica と OpenAI Gym interface を用い、global な Proximal Policy Optimisation (PPO) controller と Multi-Agent PPO (MAPPO) を同一予算で訓練。 - アームを n 個の制御セクションに分割し、n を系統的に変化させて評価。

- 軟体ロボットアームの RL 制御において centralised と distributed (MARL) を同一条件・同一予算で直接比較した点が特徴。 - 制御セクション数 n を系統的に変え、性能が n に依存して逆転する境界を示した。 - 具体的な先行研究との比較は要旨からは不明。

- 軟体アームを Cosserat rod として PyElastica でシミュレーションし、OpenAI Gym interface で RL 環境化。 - global PPO controller と MAPPO を同一予算で訓練し、n 個の制御セクション設計を比較。 - 評価指標は mean action magnitude、mean final distance、mean episode length、success rate。 - シナリオは default baseline、external disturbance からの recovery、actuator failure への adaptation の3つ。

- n を系統的に変化させ、3シナリオ下で上記4指標を定量評価。 - 結果として n≤4 では distributed の有意な利点なし、n≤2 では centralised が優位。 - 4<n≤12 では distributed が高い sample efficiency、success rate、resilience、robustness、収束速度を示す。 - 一方 centralised は同一サンプル数あたりの訓練時間効率が高い。

- centralised と distributed の trade-off を明示し、軟体ロッド状マニピュレータの sim-to-real transfer に向けた設計指針を提示。 - distributed は local observability 下での robustness に利点がある一方、訓練の time efficiency では centralised が優位。 - 限界や今後の課題の詳細は要旨からは不明。

- 要旨で直接参照されている Proximal Policy Optimisation (PPO)、Multi-Agent PPO (MAPPO)、Cosserat rod、PyElastica に関連する研究。 - 同分野の定番として soft robotic arm の sim-to-real transfer や MARL によるロボット制御の論文。